海北公司网站建设哪家快,南昌官网seo收费标准,陕西的网站建设公司哪家好,重庆市建设工程信息网质量监督背景
炼丹师在AI绘画的过程中#xff0c;由于Stable Diffusion的原理是水滴式的扩散作图原理#xff0c;其实在前面也有提到#xff0c;他的发挥是‘不稳定’的#xff0c;因为你没有办法做到精确控制#xff0c;只能说是大致符合你的预期。你不能总依赖抽卡固定随机数种…背景
炼丹师在AI绘画的过程中由于Stable Diffusion的原理是水滴式的扩散作图原理其实在前面也有提到他的发挥是‘不稳定’的因为你没有办法做到精确控制只能说是大致符合你的预期。你不能总依赖抽卡固定随机数种子的方式来寻找你满意的结果那样太耗时所以有必要深入研究下ControlNet 的使用方法做到精确控图满足你生产的需求。
ControlNet 简介
如果想对图做精准控制那就需要使用ControlNet 告诉AI 你想绘制的东西答案有哪些表定量的部分因为有的东西通过文生图与图生图无法准确表达。简单介绍下 ControlNet。
ControlNet的工作原理
条件生成ControlNet是一种条件生成对抗神经网络GAN它通过额外的输入如参考图像来控制预训练的大模型如Stable Diffusion。图像迁移它能够将参考图像的构图、人体姿势等特征迁移到目标图像中实现图像的高效控制。
ControlNet的优势与应用
优势 细节控制相比单纯的关键词控制ControlNet提供了更精细的图像控制能力。多场景适用适用于各种图像处理任务如线条检测、风格迁移等。扩展性强可以与其他Stable Diffusion模型搭配使用增强图像生成的效果。应用 线条检测如动漫线稿提取、标准线稿提取等用于生成以线稿为框架的新图像。风格迁移通过对构图类似但风格不同的图像进行风格迁移尝试。姿态控制通过OpenPose等模型提取人体姿态信息控制Stable Diffusion生成具有特定姿态的图像。
ControlNet 种类
ControlNet 种类很多目前我使用过的差不多有20种。而且不同ControlNet彼此可以相互组合而且不仅限于两两相互组合如果显存够好组合3-5个也没有问题。我先说下我用的比较多的几个ControlNet
OpenPose
就是检测pose 的我希望检测一个pose 来让AI作图。比如 Depth
描述前后关系有颈深的概念在里面其实就是描述 Z 方向的关系比如手在头的前还是以后面。 Canny
Canny是一种硬边缘检测模型用于提取图片中的边缘信息生成对应的轮廓线稿图。 它能够很好地识别图像内各对象的边缘轮廓生成的线稿图较为精细且边缘清晰。 在图像生成过程中可以通过Canny模型提取参考图片的线稿再基于该线稿和提示词生成具有相同轮廓结构的新图。常用于需要精确控制图像轮廓的场景如人物、物体等的轮廓重建。 SoftEdge
SoftEdge是一种软边缘检测模型也是用于提取图片中的边缘信息但与Canny不同它生成的边缘更为柔和。 SoftEdge模型提供了多种预处理器选项如softedge_hed、softedge_hedsafe、softedge_pidinet等这些预处理器在处理边缘时具有不同的效果和质量。 在图像生成中SoftEdge模型可以生成更自然的边缘效果适用于需要保留更多细节且不希望边缘过于生硬的场景。 通过SoftEdge提取的线稿图可以在后续的图像着色和风格化过程中获得更加自然的视觉效果。 Sketch
Sketch或Scribble模型用于处理涂鸦或草图形式的输入并基于这些输入生成图像。 它支持从参考图中提取涂鸦信息也支持在空白画布上直接手绘涂鸦作为输入。
在艺术创作和设计中Sketch/Scribble模型提供了一种自由度更高的图像生成方式。 用户可以通过手绘草图来表达自己的创意然后利用Sketch/Scribble模型将这些草图转化为具体的图像。这种方式特别适用于需要快速迭代和试错的场景如概念设计、草图渲染等。 生成效果
我们先看看上面的生成效果注意这里还是要和提示词图生图等一起结合使用。
正向提示词
one girl,standing near the sea, (masterpiece:1,2),best quality,masterpiece,highres,original,extremely detailed wallpaper,
负向提示词
下载embeddings 直接填写 内容 BadDream UnrealisticDream.,easynegative,ng_deepnegative_v1_75t,negative_hand,
使用模型
找一个类似写真的底膜就行我这里用了随便选了一个写真底膜。
生成图片 还是挺不错的我个人比较偏向第三幅图片。通过 controlnet 的精细化控制结合promption及对的底膜及embeddings还是比较好的还原出了我想要的场景和人物。 下面的sketch 生成的画面
脸部有点问题重新矫正下为了减少出图时间我直接用图生图生成promption 加强了下对face 的描述
(radiant beautiful face:1.22) 手的姿势不太对再调整下 raise left hand diagonally upwards towards the sky, 注意事项
当然对于controlNet的使用正如上面所说他只是构图中的一环其他promption底膜图生图原图等都是AI 作画需要考虑的因素因此如果你试图在图生图中使用一个infomation 不太够的图片而又妄图想从controlnet 中补充时你要特别注意通常来讲图生图的原理还是脱离不开底图。比如在上面的例子中你使用上一次我上次使用的一张深渊橘的底膜绘制的AI保持上面设置不动出图结果是这样 看着还是挺舒服的但是你看到了你设置的pose 完全没体现出来为什么因为图生图就是要依据你的原图你通过controlnet 做动作调整这些是没有问题的但是你最好不要试图通过它去完成一些原图没有的场景那样的话你最好还是用文生图比较好。
