发卡网站建设,泸州做网站的公司,商品网站建设格式,如何查询公司做没做网站AUTOMATIC1111/stable-diffusion-webui参考B站Nenly视频《零基础学会Stable Diffusion》、视频课件推荐网站#xff1a;stable-diffusion-art、Civitai#xff08;魔法#xff09; 、libilibi、AI艺术天堂推荐Stable Diffusion整合资料#xff1a; NovelAI资源整合、《AI绘… AUTOMATIC1111/stable-diffusion-webui参考B站Nenly视频《零基础学会Stable Diffusion》、视频课件推荐网站stable-diffusion-art、Civitai魔法 、libilibi、AI艺术天堂推荐Stable Diffusion整合资料 NovelAI资源整合、《AI绘图指南wiki》、AiDraw绘画手册重 绘学派法术绪论1.2、 Stable Diffusion 潜工具书 上一篇见《Stable Diffusion系列课程上安装、提示词入门、常用模型checkpoint、embedding、LORA、放大算法、局部重绘、常用插件》 文章目录 ControlNet一、 ControlNet1.1简介及安装二、 OpenPose 姿态检测2.1 五种预处理器对比2.2 openposelineart还原人物表情2.3 生成角色三视图2.4 精准控制手势 三、 controlnet参数解析四、 depth4.1 场景复刻、更换背景4.2 还原动作4.3 控制光源 五、线条约束5.1 canny提取轮廓5.2 lineart5.3 HED/softedge5.4 scribble涂鸦5.5 mlsd线条检测 六、 normal七 、seg语义分割7.1 基本方式7.2 颜色控制画面 八 、shuffle九、 Tile9.1 高清放大图生图9.2 超高分辨率放大抑制全局提示词的污染9.3 增添细节9.4 tile的三种模型模式 十、 inpaint十一、 ip2p十二、 reference十三、 Multi-ControlNet多重控制13.1 openposedepth 精确控制人物姿势13.2 cannydepth13.3 风格融合 十四、 controlnet配合其他插件14.1 多人画面精准控制 ControlNet sd-webui-controlnet插件、controlnet模型官网、ControlNet 1.1官网教程Nenly视频教程《30分钟零基础掌握ControlNet》、新版本Controlnet1.1 界面、模型超级详细解读、Multi-controlnet高阶组合用法合集知乎耗时7天终于把15种ControlNet模型搞明白了、【Stable Diffusion】ControlNet 详解篇、《5分钟学会Stable Diffusion强大的ControlNet插件》](https://zhuanlan.zhihu.com/p/616898673) 一、 ControlNet1.1简介及安装 ControlNet直译过来就是控制网本质上是stable diffusion的扩展插件。在ControlNet出现之前基于扩散模型的AI绘画是非常难以控制的这样在一些有具体需求的场景下就变得难以接受。ControlNet实现了很多前所未有的控制效果有效的解决了这一难题。 ControlNet的本质是输入一些额外的信息来引导扩散模型进行定向生成。比如用的最多的openpose功能输入一张跳舞的图片ControlNet会对这张图片的人物姿势进行关键点识别再借助于ControlNet openpose控制模型经过大量任人物动作训练的AI就可以读懂图片上人物的姿势进而指导大模型生成这种姿势的人物图片了。 ControlNet 控制姿势和图生图有点像本质上都是给AI提供额外的生成信息但是ControlNet记录的信息比图生图里的信息更加的纯粹排除了图片本身的一些元素比如颜色、线条的影响而只是单纯的输入姿势这一个点的信息来达到精准控制的效果。同时这种控制不会对提示词、lora等输入的信息造成太多的影响。 Annotator预处理器用于从图片等素材中智能地识别并提取信息。在1.1版本的ControlNet里一共可以处理14种不同方面的控制多种的控制还可以结合使用产生复合控制效果。 ControlNet安装 ControlNet安装需要同时下载安装ControlNet插件放在extensions文件夹和下载对应的模型文件放在controlnet/models文件夹。另外真正使用某个功能时会下载预处理模型进行预处理为避免网不好的情况也推荐下载存在本地。ControlNet升级时只需要正常升级ControlNet插件然后下载更新的模型文件就行。 ControlNet 1.1 百度网盘文件https://pan.baidu.com/s/1rh39DI9xVbguLO5l7O4pjA提取码: yqqe包含预处理器和模型文件。百度网盘提速方法打开百度网盘APP选择设置——传输——开启 利用闲置宽带为下载加速或换取积分选择 提速模式 即可提速。 网盘里的预处理器/downloads文件夹包含所有预处理器直接放在extensions/sd-webui-controlnet/annotator文件夹下。 controlnet需要对应的控制模型来工作。单个控制模型有1.4G早期推荐使用以下五个应用广泛的模型也可以下载所有的模型每个模型都要同名的yaml配置文件没有会报错。 不同模型遵循同一种命名规范 二、 OpenPose 姿态检测 2.1 五种预处理器对比 OpenPose控制姿势有五种方式身体姿势、身体姿势脸部表情、只有脸部表情、身体姿势、手指表情、身体姿势手指下面分别进行介绍。
控制身体姿势预处理器openpose 。 我们先输入一段prompt再加入一张图片预处理器选择openpose模型选择对应的openpose模型点击预处理的旁边的爆炸按钮就可以看到图片中的人物被预处理成了一个火柴人里面的小圆点就是人体的重要关节节点。下方参数可以维持默认勾选enable就可以生成指定姿势的图片了还可以加入人物lora来生成指定人物的指定动作。 提示词1girl,solo,yellow skirt,shirt,skirt,brown hair,wristwatch,jewelry,watch,white shirt,seaside,sun hat, 安装了openpose editor之后右侧预处理图片上会出现一个edit按钮可以对骨骼图进行编辑修改动作。 对比两张图片可以发生新生成的图片姿势大概是一致的就是人物的右手不是在额头前面挡着而是在脑后。这是因为openpose只能进行大概的识别但却无法判断右手在脑前还是脑后这一点可以通过后续的controlnet depth功能来解决。
控制身体姿势和手指预处理器openpose_hand 。 SD预处理之后的火柴人在人体整体姿势的基础上还多了线条和节点表示手指这一点被看做是解决AI不会画手的终极绝招。 控制人体姿势和表情预处理器openpose_face 。 在没有controlnet之前AI画表情是比较困难的我们只能通过smile、sad这种开进行引导。用controlnet复刻人物表情则会使用白色的点把人物的五官勾勒出来。人物表情特写预处理器openpose_faceonly 这种情况比较适合大头照没有太多四肢信息此时识别出来的五官更加精确。但是如果你生成的照片用了Lora再用controlnet控制表情可能会导致生成出来的照片跟Lora的人不太像因为生成出来的照片的人物五官和脸型都被controlnet影响了。 全方面控制人物姿势预处理器openpose_full , 如果你有一张合适的照片使用openpose_full 就可以复刻人物表情神态动作等等一系列特征。 在实际使用中如果原图的手指骨骼比较清晰可以用识别到手指的预处理器。如果识别出来的手指线条比较乱自己调整也没调整好那就只识别身体姿势不然生成出来的照片手指反而更乱了。控制表情的最好用在生成近景特写图片这样识别出来的才比较准确。另外不要拿动漫照片去刻画真人照因为动漫角色会有些夸张的处理移植到真人上可能会失真。 在图生图里放入一张图片开启controlnet但是不指定姿势图片模型会把原图自动加载为openpose图片进行生成。 以下是五种预处理器的效果对比 2.2 openposelineart还原人物表情 从上图可以看到即使是用上了处理面部表情的openpose_face和openpose_full生成的人物表情和原图也会不同。 下面选择一张图片分别使用openpose_face和mediapipe_face预处理器进行对比后者是专用于捕捉面部表情。然后添加简单的提示词a little girl,(cry:1.5),solo引导图片进行生成可以看到生成的图片依然没能很好的还原参考图的人物表情基本没有什么情绪感染力。 这是因为人物面部的表情是由很多面部肌肉一起协调控制的非常的微秒单单只使用openpose来识别力有未逮。如果想要生成非常生动的任务表情则除了openpose还要再加上lineart进行叠加引导。此时生成的图片人物表情还原度好了很多只是AI生成的人物表情还是欠缺一些情绪感染力。 2.3 生成角色三视图 利用上面的参考图可以直接生成角色三视角图模型选择openpose提示词可以按下面格式写lora选择CharTurnerBeta 2.4 精准控制手势 安装插件POSE-X这是一个控制openpose的3D插件可以进行3D预览手动调整姿势甚至是摆放多个人。 另外depth_library插件里面有很多手的造型。只需要导入与openpose形象再摆好喜欢的手部造型就可以了。 如果是要复刻某一张参考图的手势和姿势可以使用openpose和POSE-X识别和修改姿势再使用cannydepth处理得到手部造型。 三、 controlnet参数解析
下面介绍一下controlnet基本参数 enable启用ControlNet Low VRAM 低显存优化 低显存模式当你使用多个controlnet功能时所耗显存会成倍增加此时可以开启低显存优化解决代价是处理速度变慢。 piexl perfect自动计算出预处理图片的最佳分辨率避免因为尺寸不合导致图片模糊建议开启 Alow Preview预览预处理结果 点击该按钮可以预览生成的引导图同时生成图片后会出来一张预处理的图片这样可以保存下来用于下一次调用。预处理图片可以直接拖进controlnet而不用再次预处理也就不需要选择预处理器和模型。 Preprocessor预处理器 在此列表我们可选择需要的预处理器每个 ControlNet 的预处理器都有不同的功能后续将会详细介绍。 Model 配套各预处理器需要的专属模型。该列表内的模型必须与预处理选项框内的名称选择一致才能保证正确生成预期结果。如果预处理与模型不致其实也可以出图但效果无法预料且一般效果并不理想。 Control Weight代表使用 ControlNet 的权重占比默认为1。 starting/ending control step表示在图片采样生成的steps中 ControlNet开始和结束的时机步数默认为0到1表示从头控制到尾。缩短控制过程特别是延迟开始的时机可以让AI有更大的自由度。 Control Mode控制图片更倾向于提示词还是Controlnet默认平衡模式。Controlnet mode等同于1.0版本的无提示词模式 Resize Mode缩放模式表示要生成的图片和提供的控制图片分辨率不一样时该如何填充到一致。默认使用Scale to Fit (Inner Fit)缩放至合适即可将会自动适配图片。 loopback图像迭代只在需要反复迭代的连续生成场景下会用到默认关闭即可。
选择一个预处理器和模型之后还会出现如下参数 Preprocessor resolution预处理图像分辨率一般都会比原图小很多来节约资源因为提取关键信息来标注图片也不需要多高清。如果性能富余又在使用canny、lineart、depth这类对精度要求很高的操作时可以提高预处理图片的分辨率甚至设置成和原图一样大来达到最佳效果。 Invert 反色模式当图片是白色背景黑色线条时使用例如线稿 Canvas Width / Canvas Height画布宽度和高度 画布宽高设置请注意这里的宽高并不是指 SD 生成图片的图像宽高比。该宽高代表 ControlNet 引导时所使用的控制图像的分辨率假如你用 SD 生成的图片是 1000x2000 分辨率那么使用 ControlNet 引导图像时对显存的消耗将是非常大的我们可以将引导控制图像的分辨率设置为 500x1000 也就是缩放为原本图像一半的分辨率尺寸去进行引导这有利于节省显存消耗。 Create Blank Canvas创建空白画布 如果之前使用过 ControlNet 功能那么将会在 ControlNet 的图像区域留有历史图片点击该按钮可以清空之前的历史也就是创建一张空白的画布。 以上参数作用其实都是控制controlnet的强弱如果感觉controlnet控制不住你的图像时可以增大权重、拉满影响步数选择控制模式选择倾向于controlnet反之亦然。
四、 depth
4.1 场景复刻、更换背景 depth主要用于场景信息的复刻尤其是富有空间感的多层次场景。例如选择一张建筑图点击depth进行预处理就可以得到一张场景的深度图。图中颜色代表着空间层面的深度越黑的地方代表离你越远越白的地方离你越近。通过这种深度图信息我们可以进行场景还原比起直接进行图生图深度图还原的效果更精确。 depth有四种预处理器其中depth leres是效果最精细的相应的处理时间也更长。对于一些精细程度要求没那么高的场景比如刻画人像尤其是涉及肢体交叠的场景效果会很好。 另外使用depth_leres预处理器设置合适的remove background值建议50-75可实现更换背景。
4.2 还原动作 比如下面这个做拉伸动作的女生如果用openpose识别作图会发现画出来的根本不是这个动作因为openpose无法从骨骼图中识别这个复杂的手臂交叉的动作。而如果换dapth来处理动作一下就到位了因为在深度图中你可以很清晰的看到这个一只手在前、一只手在后的结构AI就能很好的理解这个动作了。所以当openpose无法很好的还原一个动作时我们可以试试depth。 需要注意的是使用depth时人物和背景之间的深度差异会限制AI对人物描绘的空间即人体的形状会非常的固定不利于人物的再次创作。此时可以考虑降低depth的权重或者选择提示词更重要的模式。另外depth可以很好的还原图片当中的空间关系但是对画面的细节捕捉不够可以使用另外的细节捕捉模型进行补充。 4.3 控制光源 depth还可以用于精准控制场景的光源将原图达到下面的几种光源效果。我们只需要在图生图中上传光源图controlnet部分上传原图模型选择depth参数复制原图的所有生成参数如果不记得生成参数将图片拖到图片信息标签栏就可以看到了点击生成就可以了。 五、线条约束 线条约束类预处理器包括lineart、canny、softedge、scribble、mlsd五种模型可以用来提取画面的线稿再用线稿生成新的照片。
5.1 canny提取轮廓 canny可以识别并提取图片里的边缘特征来进行图片生成可以被用在几乎任何需要进行图像外形特征还原的场景里。canny可以识别到的线条最多这样就可以最大程度的还原照片。 同等条件下使用depth这类只强调空间关系的模型做出来的效果就比较随机没有canny还原度高。另外如果需要识别的图像里包括文字、标识等需要精确表达的信息使用canny可以精准还原识别度要求很高的场景需要调高controlnet的权重并选择controlnet is more important模式。 如果使用canny时还有些线条无法被识别可以考虑调节下面两个阈值这样就可以把一些明暗差异不那么明显的线条也识别出来。但是线条也不能太密集否则成图会有很多杂乱的细节。 低阈值调高会省略一些细节高阈值调低会保留很多细节。另外调高预览图的分辨率预览图尺寸更大且线条更细。 canny也可以用来线稿上色。输入我们想要上色的内容设定好我们要的风格点击生成线稿颜色就填充进去了。可以发现生成的图片有些模糊和扭曲这是因为导入的图片本身就是一个具有明确边缘特征的线稿如果再使用canny提取一次边缘特征生成的预处理图就会让本来清洗的边界变得模糊。 canny识别的规则就是黑色为背景白色为边缘这和白底黑稿的线稿恰好是相反的。这时我们选择invert预处理器专门处理白色背景黑色线条它会自动交换黑白这时生成的图片就是正常的。 canny用法还有很多可以实现四两拨千斤的创作效果来自海辛Hyacinth的微博 5.2 lineart 在controlnet 1.1 版本canny有了一个更高级的实现那就是lineart。lineart是专门用来提取线稿并实现上色功能以下是四种预处理器和对应几种类别的图片
动漫lineart_anime 或 lineart_anime_denoise素描:lineart_coarse写实lineart_realistic黑白线稿lineart_standard 我们可以将这些图片使用对应的预处理器处理提取线稿之后重新上色 也可以用真人的线稿生成动漫人物使用动漫模型甚至是生成一个长的很像的真人真人模型 5.3 HED/softedge HED的全称是整体边缘线条检测 Holistically - Nested Edge Detection )在最新版本里改名为softedge柔和边缘。 softedge实现的效果和canny类似都是描述图像的边缘特征。但是softedge在提取边缘信息时生成的线条会更加的模糊这种模糊会让控制效果减弱一点点给与AI更大一点的自由度。当你觉得使用canny时束缚太大可以试试softedge。 对比下图可以看到canny更加关注人物内部的细节但是softedge只会保留人物的大致的轮廓从而让AI有更大的发挥空间给AI更大的自由度说不定会创造出更大呢惊喜。另外背景里有一些不那么强烈的大线条canny检测不出来但是softedge却可以。 softedge的预处理器有以下四个其中hed的质量比pidinet更高生成图像也更稳定。另外safe表示是精简版。如果追求精细度那么就用最好的但同时也要考虑到上面所说的自由度的问题另外也要考虑到配置和处理时间这两个方面。
softedge_hedsoftedge_hedsafesoftedge_pidinetsoftedge_pidsafe 上图可以看到softedge对比细节的还原度很高甚至高于canny。除了轮廓特征softedge还保留了光影特征。
5.4 scribble涂鸦 scribble有三种预处理器我们导入一张图片进行对比可见三种预处理器处理后的图片线条粗细和细节程度都是不一样的。我们使用提示词 a girl进行引导生成可以看到生成的图片基本保留了原图的特征尤其是xdog预处理器生成的图篇基本保留了人物表情和衣服细节。 但是也有一个问题即三张图中的人物肩膀都紧贴在脖子上可见scribble无法还原人体中的空间关系也就是肩膀到脖子的距离是不够的此时可以考虑使用depth进行辅助引导。 另外前两个预处理器提取的信息比softedge还要自由奔放有时候配合提示词可以产生更奇妙的化学反应。比如对这个海龟用科幻、太空飞船之类的词来进行引导可以生成一艘乌龟战舰。 另外scribble也可以实现图生图里涂鸦的效果线稿要启用invert预处理器 5.5 mlsd线条检测 mlsd模型擅长检测线条我们导入一张建筑图片使用mlsd模型进行预处理然后提示词增加 a warm home点击生成就可以得到一张新的图片。从下图可以看到生成的图片保留原图的大部分结构此外还增添了很多细节所以mlsd模型非常适合室内设计和建筑行业。 六、 normal 此模型包含normal_bae和normal_midas两个预处理器我们放入一张玩具图片预处理结果如下。可以看到normal_bae可以还原图片主体的凹凸起伏特征以及背景的凹凸起伏特征用它处理后生成的图片对于原图的还原程度和细节的把控以及质感的表达都非常的高另一个预处理器就是自由发挥了。 七 、seg语义分割
7.1 基本方式 seg可以将图片中的每一类物体用不同的颜色标识出来这些颜色称之为标签颜色或者类别颜色所以controlnet seg 可以用于生成与类别颜色对应的物体不同的数据集或者任务所使用的颜色和物体的对应关系不同。 seg有三种预处理器从下图可以看到seg_ofade20k和seg_ofcoco处理的图片分割比较准确细节也保留的更多。 我们使用提示词 a modern city进行引导生成可见整体的还原度都是很高的包括前景的两个人背景的人群和周围的车辆以及建筑物其大小和位置及基本保持一致。seg通过将不同的物体进行颜色标识来引导复杂画面中各个物体的生成以达到复杂画面的高度还原。 7.2 颜色控制画面 首先我们根据下面这张语义分割图可以生成一张简单的街景图。如果想要背景是海滩而不是街道只需要把地面改成蓝色就行。
下面是整理的150种颜色对应的类别 八 、shuffle
打乱重建、风格迁移只有shuffle一个预处理器
九、 Tile tile模型本质上上是一个重绘模型但是会在保持原图构图、画风、人物主体等基础上为画面增添更多的细节提高图像的画质。 根据其特性tile主要功能是
增加细节比如高清放大、修复照片、补齐草图、增加画质等。配合其它放大算法进行超高清放大tile模型可以抑制全局提示词对局部图像的污染根据画面自动推断内容消除违和感
9.1 高清放大图生图 tile模型最简单的使用方式就是用于图片放大但是在文生图中没有重绘幅度即使种子数相同结果也会有差异。所以直接tile放大一般是用在图生图中。 下面的例子中我们在图生图中放入一张图片复制其生成参数种子设为-1放大倍数设为2768×1024→1536×2048CFG设为15.5官方建议15以上重绘幅度0.50.5以上才足够清晰。在controlnet中选择原图预处理器选择tile_resampleDown Sampling Rate参数使用默认值1启用完美像素设置点击生成就可以了。 Down Sampling Rate即下采样倍率比如设为2的时候512×512的原图就会缩放到256×256原图缩小之后SD就可以有更多的空间来添加的丰富细节。所以有时将原图缩小效果会更好。如果不进行下采样那么可以不使用预处理器。 如果发现重绘之后的图片和原图不一样比如下面新生成的马卡龙颜色不一样了可以选择提示词更重要模式或者增加tile模型权重。 另外像超低分辨率的表情包修复60×60可使用controlnet权重设为0.7然后设置想要放大的分辨率选择tile模型放大就可以了 9.2 超高分辨率放大抑制全局提示词的污染 在一些分区重绘放大的功能中如果重绘幅度过高或者放大倍率过高都容易画崩而如果在使用放大算法的同时开启tile模型就可以得到更稳定的结果。 controlnet tile的核心思想是在将图片拆分成小块的过程中主动识别每一块的内容。如果识别出来的局部内容和整张图的提示词不匹配就会就会忽略提示词并使用局部内容引导扩散。简而言之就是避免在一些操作中让全局提示词过分影响局部内容尤其是在涉及分块重绘的时候从而达到维持图片总体内容不变的作用。比如下图就可以避免在分区重绘放大图片时画出多人的情况。 controlnet tile用法选择controlnet tile模型模型参考图选择一开始的低分辨率原图。如果成图和原图不太像可以适当增加模型权重为1.2至1.3或者选择提示词更重要模式。不过加入controlnet 之后生成时间会是原来的n倍但显存消耗基本不变可以放心操作。 controlnet tile几乎是一种万能模型可以使用在任何一种放大手段中以维持画面的稳定比如上面SD upscale、Ultimate upscale和tiled diffusion这几种放大算法的使用细节可参考《Stable Diffusion系列课程上安装、提示词入门、常用模型checkpoint、embedding、LORA、放大算法、局部重绘、常用插件》第五章 高清修复放大算法。
9.3 增添细节 tile模型还可以用于在不改变图片分辨率的情况下增添或者是修复细节。
修改差的细节 下面示例中左下角的背景人物细节不够我们将图片发送到图生图局部重绘左下角需要补充细节的部分涂黑预处理器选择tile_resampleCFG设为15重绘幅度设为1就可以了。之所以不选择inpaint模型是因为tile模型可在原图基础上添加细节而inpaint会对原图进行重绘无法保留原图的结构。 又比如下图对原图背景的左侧和上方进行局部重绘添加细节对比右侧课可见清晰了很多其实是右侧有一位正面的女性分辨率太低脸画崩了…暂时懒得改了。 增加细节/质感 在提示词中加入black eyes然后直接使用默认参数的tile_resample预处理器CFG选7重绘幅度分别设为0.4和0.6效果如下 补齐草图 比如下图左侧是一张巧虎吉祥物的初稿将其发到图生图写上对应提示词开启tile模型CFG设为16重绘幅度设为1重复几次就可以得到中间这张细节更丰富的成图。如果选择提示词更重要会变成右侧这张成图。 类似的还有线稿填充。线稿图片使用涂鸦模型 scribble可以得到不错的效果。再使用tile模型填充细节。如果细节过多比如下图的瞳孔、腮红、舌纹可以同时开启lineart模型抑制过多的细节添加。 linearttile可以高质量固定原图特征避免添加不必要的细节。 下面是涂鸦模型重绘线稿的例子 添加一些关键词比如猫娘可以得到意外的效果 融合画面
P图修复。比如PS了一张照片画面没有处理好还是有些不自然。tile模型可以根据画面内容进行自动推断修复照片使其更加的自然。图片升采样tile融合重绘。 比如下图人物主体细节比较粗糙使用局部重绘来重绘人物之后细节有了但是人物光影和周围环境还是有些不协调。此时可以使用tile模型对照片进行整图重绘CFG设为15重绘幅度设为0.6。 原图 局部重绘 局部重绘tile处理 9.4 tile的三种模型模式 《ControlNet最新Tile应用实战和商用思路分享》 tile模型有三种模式其中默认使用的平衡模式会使重回画面构图和原图保持一致。而提示词更重要模式可以使画面有更多的可能性配合恰当的提示词可以达到不同的画面控制效果。 下面用一个例子来进行演示。我们先对一张比较模糊的金字塔原图在文生图中使用相同参数和tile平衡模式进行生成得到一张更清晰的图片 然后在图生图中扩大照片使用lineart预处理器选择二次元模型anything生成对应的二次元照片 接下来填充画面。将图片发送到局部重绘为了避免相互影响先绘制天空。画笔改成白色涂抹上部关键词添加blue sky重绘幅度设为0.6多跑几次选择一张满意的图片。然后同样的操作添加沙漠提示词desert。此时生成的图片会有一些违和感使用tile模型重绘一次进行修复。 接下来使用局部重绘分别添加两个人物一次添加会互相干扰提示词使用简单的1girl,full body,back,standing 此时生成的人物此时还不够完美画面细节也不够丰富可以先使用tile模型跑几次从头 weight0.7添加更多的细节。最后为了保证脸部效果开启ADetailer插件优化人脸。 整个过程如下 我们还可以通过调整提示词tile模型提示词更重要模式可以生成各种风格的金字塔 十、 inpaint 预处理器inpaint_global_harmonious、inpaint_only、inpaint_onlylama 此功能类似于图生图的手绘蒙版。下面选择一张美女图片将其上衣涂黑然后加上提示词women’s T-shirt点击生成原图人物身上的JK服就换成了T恤。但是此时场景也有细微的改变但inpaint模型对人物和场景的融合会比图生图局部重绘更好一点。 十一、 ip2p ip2p可以用文本来控制图片细节在不大幅度改变画面的情况下修改画面的一些内容。ip2p没有预处理器使用时只需要在提示词区域输入精简的指令instruct例如make it night此时还可以增加一些夜晚的tag。CFG提示词匹配度需要调整到5以下。此功能很吃底模checkpoint某些情况下不起效。 描述变为夜晚 十二、 reference 预处理器reference_only、reference_adain、reference_adainattn参考《stable diffusion绘图软件详细教学——Reference only》、《Stable Diffusion仿制神器,Reference Only评测》 reference即参考此模型只使用文本提示词就能在保持图像主体特征的前提下任意修改图像细节。之前要实现这种功能需要使用lora甚至是多个lora对于没有对应lora的还需要自己炼现在一张参考图就可以搞定了。比如给美女从头发到衣服都换身造型表情更亲和一点 抑或是让模特从甜美邻家女孩切换到高冷御姐身体和头部的朝向、背景都换个花样儿 reference常用预处理器是reference-only不需要任何控制模型直接使用参考图片就能引导扩散将Stable Diffusion的注意力层直接链接到任何独立的图像。作者介绍这个功能其实类似于“inpaint”功能但不会让图像崩坏。所以如果你想要在保持原图风格的前提下进行修改使用提示词直接在原图上就能操作。 下面是官方示例将一只静立的小狗改成奔跑动作。只需要更改提示词为“a dog running on grassland, best quality……”使用reference-only预处理器选择小狗作为参考图点击生成就可以了。 参数style fldelity指的是平衡模式下参考图片的程度值越高和参考图越相似。 下面是一个日本推特上的测评原图经过tile模型放大2倍到1024×1536 在原图的基础上使用 Reference Only使用了与第一张图相同的提示大小为512*768。颜色风格相当保留服装图案也保留了下来 在原图的基础上使用 Reference Only将提示从花卉变为城市街道。颜色风格相似身体方向也被继承了下来因此在同一人物穿不同衣服或背景时非常实用
十三、 Multi-ControlNet多重控制 要同时启用多个 ControlNet 请更改 Multi ControlNet: Max models amount (requires restart) 参数比如下面将最大ControlNet数量设置为3。 Multi-ControlNet的核心思想是互补让一个网络帮另一个网络去实现它做不到的事情。如果两个网络作用是高度相似的比如cannysoftedge其实用价值不大只开一个效果也差不多。另外要注意的是多重控制网对显存的额要求更高使用了两张、三张网显存就是两倍、三倍的往上翻这时候可以使用精细度第一点的预处理器或者是开启低显存模式处理时间更长。 一个常见的多重控制网思路是使用两个模型来分别控制前景和背景。比如openpose控制前景人物背景控制可以是depth、segmentation或者canny。 你也可以使用同一个controlnet模型多次使用来控制画面不同的区域比如官方文档中的示例利用两张狗狗的canny图合成了一张新的图片。 13.1 openposedepth 精确控制人物姿势 下面用openposedepth经典组合解决一开始右手遮脸的问题。openpose可以精确识别手部信息但因为不包含空间信息所以无法判断手在脸部前面还是后面。但这一点depth是可以轻易识别的手在脸部前面那么一定会有深度的差异。综合这两者就可以实现我们想要的效果了。 下面进行测试我们第一个控制网使用openpose_full预处理器第二个控制网使用depth leres预处理器。此时要调节好各自的权重确保给AI一定的自由度。我们确定姿势的优先级更高权重保持默认值1。depth可以认为是次要的权重可以设为0.6这样不影响其识别手部的前后位置信息但可以有效的降低其对人物边缘轮廓的限制。 同时也不要忘了用提示词、lora、embedding等各种输入信息进行配合比如加上hand on eyes,hand up,hand covering eyes等提示词进行引导。 也可以使用openpose获取人物姿势架构再使用softedge保证整体的轮廓。 13.2 cannydepth
高度还原场景 使用depth获取场景的空间信息再用canny的边缘检测效果补充深度阴影里的细节可以让场景还原更加彻底。 人物重绘 另外LoRAControlNet Canny可以进行 赛博cos图片生成 3. 一键P图 将普京的脸扣下来然后分别使用canny和depth模型权重分别设置为0.35和0.25重绘幅度调整到0.8就可以实现一键P图。 13.3 风格融合 我们使用canny预处理器导入线稿再使用clip_vison预处理器导入梵高或者深海的风格图片模型选择t2iadapter_style就可以得到对应的风格化效果。 十四、 controlnet配合其他插件
14.1 多人画面精准控制 安装latent couple插件可以分别控制画面背景。再使用compossible_lora插件就可以对不同的区域使用不同的lora来控制人物。 再使用openpose就可以得到下面的效果
