国外的电商网站有哪些,为进一步加强校园网站建设,长沙3合1网站建设,中山中小企业网站建设当我们还在沉浸在惊叹和体验快手的Kolors模型之时#xff0c;SD原开发团队组成的“黑森林”出的FLUX模型就袭来了。我们不得不感叹FLUX模型给我们带来的冲击#xff0c;模型所绘制的画面质感、精细度的确让我们眼前一亮#xff0c;之前发布的SD3开源模型给我们带来的些许失落…当我们还在沉浸在惊叹和体验快手的Kolors模型之时SD原开发团队组成的“黑森林”出的FLUX模型就袭来了。我们不得不感叹FLUX模型给我们带来的冲击模型所绘制的画面质感、精细度的确让我们眼前一亮之前发布的SD3开源模型给我们带来的些许失落感顿时烟消云散。因为FLUX的出现填补了我们对SD3的些许失望。
接下来我们借此文跟大家交流下这个近期备受追捧的开源绘画模型FLUX1.0。
模型介绍及下载存放
在我们使用FLUX开源模型之前需要先将FLUX这个体系的相应生图模型相关的UNET、CLIP和VAE模块用到的模型做下载存放备用。
UNET
与我们之前文章中介绍的“模型体系生图所用的模块”中提到的三个模型模块一样在FLUX的生图流程中也需要调用到UNET、CLIP和VAE这三个模块的模型。我们抛开只能通过API调用的Flux-pro版的不说就跟大家聊聊本地部署的模型使用。
我们需要先下载好flux的主模型这里我们主要介绍六种规格的模型供大家尝试分别是
● 满血版的flux1-dev.sft23.8 GB算力要求高出图用时长
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main● 快速出图版的flux1-schnell.sft23.8 GB4步即可出图质感也只略逊色于满血版
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main● fp8版的flux1-dev-fp8.safetensors11.9GB对显存要求不那么高的建议16G以上出图相对满血版的更快
https://huggingface.co/Kijai/flux-fp8/tree/main● 在Kijai大佬的这个剪枝版的下载链接中还能下载到flux1-schnell-fp8.safetensors这个模型也是官方推出的快速出图版的剪枝模型也是11.9G。
上述四种模型下载后存放在ComfyUI目录下
ComfyUI\models\unet\FLUX ● 此外还有Comfy Org版dev模型:
https://huggingface.co/Comfy-Org/flux1-dev/tree/main● Comfy Org版schnell模型
https://huggingface.co/Comfy-Org/flux1-schnell/tree/main其模型下载后存放在ComfyUI\models\checkpoints目录中被视为普通的基础模型来调用它的模型里包含了clip和vae。
对于显存更小的8G同学可以搜索“gguf”这个版本的FLUX模型对显存算力的需求会更低一点有兴趣的朋友可以自行尝试。
Flux-dev-ggufhttps://huggingface.co/city96/FLUX.1-dev-ggufGGUF节点存储库https://github.com/city96/ComfyUI-GGUFCLIP
将用于CLIP加载器所要调用的模型下载后存放在目录
ComfyUI\models\clip
下载地址
https://huggingface.co/comfyanonymous/flux_text_encoders/tree/mainVAE
至于FLUX模型其生态用到的VAE模型ae.sft: 335 MB下载地址在官方主模型下载链接中也提供了下载下载后存放路径为
ComfyUI\models\vae
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/mainFLUX工作流使用要点
FLUX模型取消了反向提示词的输入在搭建工作流的时候有需要用到也只需加一个空的文本编辑器节点就好。
此外CFG值也默认都为1.0即可如果用到了K采样节点搭建工作流时。
加载器的选择
在FLUX的工作流中使用满血版或半血版区别在于模型的选择和CLIP加载器的选择如果你的ComfyUI中没有相应的可选想或节点那么大概率是你需要更新你的ComfyUI本体了。
半血版则是将主模型改为fp8的权重类型为fp8的clip1也改为fp8的t5模型出图快效果不会逊色多少于满血版的。
满血版则是将主模型改为dev的权重类型为默认的clip1改为fp16的t5模型。 引导值
这个引导值guidance大家可能不太注意这个值对于画面画风是有影响的。也就是模型的艺术表现力方面默认3.5即可值越小则艺术感越强用于风格非写实时用参考值1.5~2值越大则细节越多出现更锐化清晰些参考值4.5。大家在不同画风绘制的时候可以加以尝试锁定种子值后调整这个值自行体验。 采样器与调度器的选择组合
这里我们借用一些博主测试后的体验小结跟大家分享推荐使用五种采样器与调度器的搭配组合
ipdmnsimple
uni_pc_bh2simple
eulerbeta
eulersimple
dpmppsgm_uniform
步数
对于出图的步数我们也做过尝试与比对更多的步数时间会更多但细节表现也会更好些。我们可以根据需要适当提高。
常规模型如flux1-dev.sft和flux1-dev-fp8.safetensors的比对 对于快速出图模型flux1-schnell.sft官方默认是4步但不妨碍我们尝试更多步。 相关资源 最后篇末我们也会分享目前我们用过的一些FLUX相关的工作流供大家参考与学习主要包含文生图、图生图、局部重绘、反推提示词图生图、带LoRA的工作流这些是目前FLUX生态中相对成熟的可用的部分当然最近也出了Controlnet和IPA的一些模型和用法我们还没来及测试和体验暂让子弹飞一会儿。相信不久的将来包括各种LoRA、IPAdapter、InstantID、Controlnet...等生态也会慢慢更加丰富起来。 今天文章中的说明图像、模型文件和工作流文件我们都分享在了云盘需要的小伙伴直接扫码获取
