求教AI绘图大佬，如何防止TAG或LORA之间相互污染？

bwsusaga · 发表于 2024-5-8 22:42

本帖最后由 bwsusaga 于 2024-5-9 15:50 编辑

这个现阶段是不是没有太好的办法。

现在用的是SDXLPONY来出图，

比如想要上图两个不用角色相叠，P3桐条竞技场装和埃吉斯的发型发色衣着就全混了，
但其它提示词之间的相互污染基本没办法控制，举例来说就是两人的表情，动作，穿着不能准确的分别指定，现在只能靠抽卡。
第二个是LOAR的相互污染，主要是角色LOAR，
两个以上时如何精准控制两个角色分别使用自己的LOAR？

如果单做一张图，可还以用区域划分以用动作骨骼蒙板来指定提示，再加上脸部修复之类。
但如果要出多图时这样就太麻烦了。

所以上以这种情况可以靠提示词语法之类来控制么？

omnitoken · 发表于 2024-5-8 22:46

用layerdiffusion分层分别生成试试看?

tonyunreal · 发表于 2024-5-9 00:39

你这是画图不是炼丹
角色拆分试试Regional Prompter

—— 来自 Xiaomi 22081212C, Android 12上的 S1Next-鹅版 v2.5.4

cube · 发表于 2024-5-9 01:03

本帖最后由 cube 于 2024-5-9 01:06 编辑

bwsusaga 发表于 2024-5-8 22:42
这个现阶段是不是没有太好的办法。

色彩提示词可以靠注释语法基本隔绝，

直接出图的话用分层控制，不同角色分别描述，之间用BREAK指令降低污染。

使用LORA的话可以搭配controlnet openpose模型先绑定骨骼，然后打开加载LORA的additional network里的extra args功能，添加一张遮罩图，通过语义分割告诉AI这是两个不同人物。

B站上搜“控制多个LORA人物”，有视频教程。

如果电脑够好建议用SDXL模型，无论是animengine基底的还是pony基底的，采用“角色名\(作品名\)”的方式就可以直接出对应角色，避免LORA之间的互相污染和导致构图崩坏。

7776169 · 发表于 2024-5-9 07:13

不是，additional network这玩意不是早就不更新了吗
要避免互相污染建议Regional Prompter这个吧

7776169 · 发表于 2024-5-9 07:16

Regional Prompter大概可以做成这样吧。。。。。

lupu · 发表于 2024-5-9 08:23

本帖最后由 lupu 于 2024-5-9 08:26 编辑

借楼咨询下大佬们，PIXIV上的那种高度写实风的AI图是都被迫删除了吗？有其他地方可以看吗

7776169 · 发表于 2024-5-9 08:29

lupu 发表于 2024-5-9 08:23
借楼咨询下大佬们，PIXIV上的那种高度写实风的AI图是都被迫删除了吗？有其他地方可以看吗 ...

我记得之前p站已经发过好几次通告说要清理这类“写实”图片了吧

去c站看？
或者你自己捣鼓吧

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5.2-play

7776169 · 发表于 2024-5-9 08:31

图传不上来
https://bbs.nga.cn/read.php?tid=39862561

这里面的双人图都是用Regional Prompter做的

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5.2-play

处男鉴黄师 · 发表于 2024-5-9 08:35

为什么不用万能的inpaint

Gotu · 发表于 2024-5-9 09:29

不懂帮顶字数补丁

bwsusaga · 发表于 2024-5-9 15:01

cube 发表于 2024-5-9 01:03
直接出图的话用分层控制，不同角色分别描述，之间用BREAK指令降低污染。

使用LORA的话可以搭配controlne ...

我现在就是用SDXL，主要用PONY来出图，
角色名\(作品名\)这个格式就是注释吧，另外加的外形描述TGA也可以用这个格式隔绝么？

cube · 发表于 2024-5-9 15:14

本帖最后由 cube 于 2024-5-9 15:28 编辑

bwsusaga 发表于 2024-5-9 15:01
我现在就是用SDXL，主要用PONY来出图，
角色名\(作品名\)这个格式就是注释吧，另外加的外形描述TGA也可以 ...

可以用，但是AI没那么智能，不用分层控制和语义分割的话只能尽量减少污染。上面说的layerdiffusion和Regional Prompter就是干这个的。

写tags的时候尽量把背景和质量词之类的单独写，然后和主描述之间用BREAK语句区分以下，避免前后景之间的污染。

我是参考了NET ART模型的建议这么用：

起手质量词 ((best quality:1.3)) -> 艺术家 (by xxx) -> 风格 (impasto style) -> 画面主题 (fantasy theme) ->美学 (beautiful color, detailed, aesthetic) ->主环境描述 (in the forest, at day) -> 背景描述 (gradient background) -> 镜头组合 (cowboy shot) BREAK ->主体 (1boy / 1girl) -> 角色名 (a girl named frieren from sousou no frieren series) -> race (elf) -> 动作 (sitting on ground) -> 表情 (is expressionless) -> 主要角色特征 (white hair) -> 身体特征 (twintails, green eyes, parted lip) -> 衣着特征 (wearing a white dress) -> 饰品 (frills) -> 其他附属物 (a cat) -> BREAK->次要场景 (grass, sunshine) -> 其他描述

多个角色之间分开描述，角色之间用BREAK和Regional Prompter区分。

实际上画面分区的方法很多，multidiffusion插件和潜变量成对（latent couple）参数也能做，你可以到B站搜教程，都试试，然后找一个你觉得好用的来。

bwsusaga · 发表于 2024-5-9 15:46

cube 发表于 2024-5-9 15:14
可以用，但是AI没那么智能，不用分层控制和语义分割的话只能尽量减少污染。上面说的layerdiffusion和Regio ...

还有个问题想请教下，
在改用SDXL出图后，经常在设置几乎不变的情况下，正常出一部分图后就会出现像

这些情况，可能禁掉一两个LORA，或是删掉某个关键词就能恢复，但多数情况要等很久就又能正常出图了，
这是因为什么？我的基模和VEA，以及LORA都是PONY相关应该没设置错误，毕竟本来是可以正常出图。

7776169 · 发表于 2024-5-9 15:51

cube 发表于 2024-5-9 15:14
可以用，但是AI没那么智能，不用分层控制和语义分割的话只能尽量减少污染。上面说的layerdiffusion和Regio ...

multidiffusion不支持sdxl的吧
另外潜变量成对这玩意也很久没更新了属于用不了的了吧

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5.2-play

cube · 发表于 2024-5-9 16:07

7776169 发表于 2024-5-9 15:51
multidiffusion不支持sdxl的吧
另外潜变量成对这玩意也很久没更新了属于用不了的了吧

有些图我现在还是用SD1.5出的，所以这俩我还在继续用。

7776169 · 发表于 2024-5-9 16:12

cube 发表于 2024-5-9 16:07
有些图我现在还是用SD1.5出的，所以这俩我还在继续用。

潜变量成对我记得是说已经没用了的
其实可以只用multidiffusion来画多人图吧
我看他插件的说明文档也可以的吧

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5.2-play

cube · 发表于 2024-5-9 16:14

本帖最后由 cube 于 2024-5-9 16:23 编辑

bwsusaga 发表于 2024-5-9 15:46
还有个问题想请教下，
在改用SDXL出图后，经常在设置几乎不变的情况下，正常出一部分图后就会出现像

S1图床这两天出问题了看不到。

但是我猜很大可能只是常见的内存或者显存不够导致画着画着崩了，用comfyui可能会好一点。
而且用comfyui还可以更方便的自定义分区。

cube · 发表于 2024-5-9 16:15

7776169 发表于 2024-5-9 16:12
潜变量成对我记得是说已经没用了的
其实可以只用multidiffusion来画多人图吧
我看他插件的说明文档也可以 ...

是的，潜变量成对我也好久没用过了，所以是不是失效了还真没确认过。

multidiffusion已经可以应对大部分情况了，顺便还能分区放大。

7776169 · 发表于 2024-5-9 16:16

建议买16*2的内存
显存没得买就算了，内存还是能有用处的

（基本上开着那些优化可以直接吃了24g内存，之前16g内存玩起来不爽）

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5.2-play

7776169 · 发表于 2024-5-9 16:17

cube 发表于 2024-5-9 16:15
是的，潜变量成对我也好久没用过了，所以是不是失效了还真没确认过。

multidiffusion已经可以应对大部分 ...

我还记得以前秋叶他就吐槽过。
那些b站的多人图教程还在潜变量成对，这插件都失效了好久了还在用

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5.2-play

cube · 发表于 2024-5-9 17:21

本帖最后由 cube 于 2024-5-9 17:45 编辑

bwsusaga 发表于 2024-5-9 15:46
还有个问题想请教下，
在改用SDXL出图后，经常在设置几乎不变的情况下，正常出一部分图后就会出现像

这是用comfyui自己自带的“条件采样区域”和“条件合并”节点实现分区控制，控制左边绘制桐条，穿正装，站立，右边生成艾吉斯，穿校服，蹲下（当然你要精准画出P3里的原服装必须加服装准确的罗马音注释或者使用lora）。
没有使用Lora，而且可以不用分区控制插件，流程上要简单很多。

单独调整视角，一个正对，一个背对，控制不同人的眼睛和发色避免污染：

不过这其实算是基础用法，仔细看会发现分界处的融合有瑕疵，要求更高的话要配合layerdiffusion和更复杂的融合方法。

7776169 · 发表于 2024-5-9 17:22

另外推荐这位的教程
https://civitai.com/models/33960 ... aint-or-my-workflow

Regional Prompt和 Adetailer的用法
Regional Prompt的说明文档一直没更新的，看的你头晕（

cube · 发表于 2024-5-9 17:26

本帖最后由 cube 于 2024-5-9 17:30 编辑

7776169 发表于 2024-5-9 17:22
另外推荐这位的教程
https://civitai.com/models/339604/how-to-generate-multiple-different-characters-m ...

我其实更建议楼主这样有细化的绘图要求的转ComfyUi，支付一点点学习成本带来的是非常高的自由度。
（我其实就是因为用comfyui用习惯了导致对现在的webui插件反而没那么熟悉了

）。

7776169 · 发表于 2024-5-9 18:10

cube 发表于 2024-5-9 17:26
我其实更建议楼主这样有细化的绘图要求的转ComfyUi，支付一点点学习成本带来的是非常高的自由度。
（我其 ...

我是从头到尾都在用WEBUI
你叫我转去COMFYUI
我也只会头大

bwsusaga · 发表于 2024-5-9 18:53

cube 发表于 2024-5-9 16:14
S1图床这两天出问题了看不到。

但是我猜很大可能只是常见的内存或者显存不够导致画着画着崩了，用comfyui ...

我配置64G内存+4090I9，肯定是没太大问题，
但出现上面花屏图和单线条色块的情况还挺多的

有人说是LORA过拟合的情况，也不知道怎么避免。

转comfyui这个，等WEBUI无法处理的情况变多或需求跟不上再考虑吧

cube · 发表于 2024-5-9 18:58

本帖最后由 cube 于 2024-5-9 19:10 编辑

bwsusaga 发表于 2024-5-9 18:53
我配置64G内存+4090I9，肯定是没太大问题，
但出现上面花屏图和单线条色块的情况还挺多的
有人说 ...

如果硬件问题不大，你可以尝试用动态CFG，方法用half cos up，如果本来CFG是7的话，把CFG最低值设为3.5，高点从12开始慢慢往下降到不会出现这类问题或者图不过饱和为止。

bwsusaga · 发表于 2024-5-9 19:10

cube 发表于 2024-5-9 18:58
如果硬件问题不大，你可以尝试用动态CFG，方法用half cos up，如果本来CFG是7的话，把CFG最低值设为3.5， ...

感谢，回头跑图时再出现类似情况我试下。

長友彩海 · 发表于 2024-5-9 19:10

我寻思这提到的插件全都是model free的trick，真打算用自己照着抄成对应版本不就完事儿了

cube · 发表于 2024-5-9 19:12

bwsusaga 发表于 2024-5-9 19:10
感谢，回头跑图时再出现类似情况我试下。

还有同时，降低lora的强度，在lora的尖括号里最后面加上:X,X从1降到不会导致角色形象出现偏差，一般来说人物LORA0.7左右差不多了，用多个人物lora很容易导致clip编码冲突。

7776169 · 发表于 2024-5-10 05:41

bwsusaga 发表于 2024-5-9 18:53
我配置64G内存+4090I9，肯定是没太大问题，
但出现上面花屏图和单线条色块的情况还挺多的
有人说 ...

LORA过拟合只能换一个

如果是你自己炼就重新练（
不过我真没试过用插件配合两个LORA的时候试过这样（当然，仅仅只是说SDXL的情况。。。。。。。

7776169 · 发表于 2024-5-10 05:49

另外如果用SDXL的话，这里调成这样
我试过，好像就不会出一些奇奇怪怪的图了（

bonnwang · 发表于 2024-5-10 07:11

bwsusaga 发表于 2024-5-9 15:46
还有个问题想请教下，
在改用SDXL出图后，经常在设置几乎不变的情况下，正常出一部分图后就会出现像

遇到过
用多个lora的时候出现过
判断是lora有冲突

另外建议尝试comfyui
反正用了一个礼拜以后不回不去了

7776169 · 发表于 2024-5-10 10:06

https://bbs.saraba1st.com/2b/thread-2179426-2-1.html

另外楼主你是i9？要不要看看有没有这个问题

—— 来自 OnePlus GM1900, Android 10上的 S1Next-鹅版 v2.5.2-play

		自动登录	找回密码
密码			立即注册

[求助] 求教AI绘图大佬，如何防止TAG或LORA之间相互污染？

本帖子中包含更多资源

本帖子中包含更多资源

评分

本帖子中包含更多资源

本帖子中包含更多资源

评分

本帖子中包含更多资源

评分