石家庄网站建设云图,优秀营销软文范例100字,wordpress产品图片太大,2网站免费建站什么是Stable Diffusion#xff0c;什么是炼丹师#xff1f;根据市场研究机构预测#xff0c;到2025年全球AI绘画市场规模将达到100亿美元#xff0c;其中Stable Diffusion#xff08;简称SD#xff09;作为一种先进的图像生成技术之一#xff0c;市场份额也在不断增长什么是炼丹师根据市场研究机构预测到2025年全球AI绘画市场规模将达到100亿美元其中Stable Diffusion简称SD作为一种先进的图像生成技术之一市场份额也在不断增长越来越多的人参与到AI掘金这场运动中来。炼丹师就是指那些专门研究、开发与应用Stable Diffusion模型的专业人士或爱好者他们在实践中不断优化模型使其产生更高质量、更具创意的图像。
目录
_1 SD绘画原理 _
2 本地部署安装SD WebUI
3 生成第一张SD绘画
**一、**SD绘画原理
基本概念
名词解释说明Stable Diffusion是一种基于扩散模型的先进的人工智能技术特别适用于文本到图像Text-to-Image的生成任务。该模型由CompVis、Stability AI、LAION等研究机构和公司合作研发它利用扩散过程在潜在空间latent space中生成图像而不是直接在高维像素空间中操作。SD WebUIStable Diffusion Web UI (SD WebUI) 是一个用于交互式控制和使用 Stable Diffusion 模型的网页应用程序界面。用户可以通过这个界面输入文本提示prompt来驱动模型生成相应的图像提供了简单易用的方式来体验和定制基于 Stable Diffusion 的文本到图像生成过程。Python是一种广泛使用的高级编程语言以其语法简洁清晰和代码可读性强而著称。在AI领域Python尤为流行因为它拥有丰富的科学计算、机器学习和数据处理相关的库比如NumPy、Pandas和TensorFlow等。在部署和使用像Stable Diffusion这样的深度学习模型时Python常被作为开发和运行环境的基础。Controlnet插件是针对 Stable Diffusion 模型开发的一种功能扩展插件它允许用户在文本生成图像的过程中实现更为细致和精确的控制。该插件使得用户不仅能够通过文本提示prompt指导模型生成图像还能添加额外的输入条件比如控制图像的构图、颜色、纹理、物体位置、人物姿势、景深、线条草图、图像分割等多种图像特征。通过这种方式ControlNet 提升了 AI 绘画系统的可控性和灵活性使得艺术创作和图像编辑更加精细化。Controlnet模型是配合上述插件工作的一个组成部分它是经过训练以实现对大型预训练扩散模型如 Stable Diffusion进行细粒度控制的附加神经网络模型。ControlNet 模型可以学习如何根据用户的特定需求去调整原始扩散模型的输出即便是在训练数据有限的情况下依然能够确保生成结果的质量和稳定性。例如ControlNet 可能包括用于识别和利用边缘映射、分割映射或关键点信息的子模块从而实现对生成图像的特定区域进行针对性修改或强化。VAEVariational Autoencoder (VAE): 变分自编码器是一种概率生成模型它结合了编码器将输入数据编码为潜在空间中的概率分布和解码器从潜在空间重构数据的概念。在图像生成场景中VAE可以用来学习数据的潜在表示并基于这些表示生成新的图像。CHECKPOINTSD能够绘图的基础模型因此被称为大模型、底模型或者主模型WebUI上就叫它Stable Diffusion模型。安装完SD软件后必须搭配主模型才能使用。不同的主模型其画风和擅长的领域会有侧重。checkpoint模型包含生成图像所需的一切不需要额外的文件。hyper-network超网络是一种模型微调技术最初是由NOVA AI 公司开发的。它是一个附属于Stable Diffusion 稳定扩散模型的小型神经网络是一种额外训练出来的辅助模型用于修正SD稳定扩散模型的风格。LORA全称是Low-Rank Adaptation of Large Language Models 低秩的适应大语言模型可以理解为SD模型的一种插件和hyper-networkcontrolNet一样都是在不修改SD模型的前提下利用少量数据训练出一种画风/IP/人物实现定制化需求所需的训练资源比训练SD模要小很多非常适合社区使用者和个人开发者。LoRA最初应用于NLP领域用于微调GPT-3等模型也就是ChatGPT的前生。由于GPT参数量超过千亿训练成本太高因此LoRA采用了一个办法仅训练低秩矩阵low rank matrics使用时将LoRA模型的参数注入injectSD模型从而改变SD模型的生成风格或者为SD模型添加新的人物/IP。prompt提示词/咒语
工作原理
Stable Diffusion就是一个接收文本提示词并生成相应图像的生成模型。 SD来自于扩散模型Diffusion Model 扩散模型Diffusion Model的核心原理被生动地比喻为物理学中的扩散过程通过前向扩散过程逐渐将图像转化为噪声图像然后通过反向扩散过程恢复出清晰的图像。在Stable Diffusion中模型训练了一个噪声预测器noise predictor它是一个U-Net结构的神经网络可以预测并从图像中去除噪声从而重构原始图像。
然而传统的扩散模型在图像空间中的运算效率极低不适合实时应用。为此Stable Diffusion采用了在潜在空间latent space中进行扩散的过程利用变分自编码器VAE将图像压缩到较低维度的空间极大地提高了计算速度和效率。
Stable Diffusion的具体工作流程包括 输入图像被编码到潜在空间。 添加噪声并通过噪声预测器估算添加的噪声量。 反复迭代通过噪声预测器预测并减去潜在噪声。 使用VAE的解码器将清理过的潜在图像转换回像素空间生成最终图像。
学习资料
国外一手资料: stability.ai官网 https://stability.ai/about github开源项目 https://github.com/CompVis/stable-diffusion/blob/main/README.md The Illustrated Stable Diffusion Jay Alammar 讲的原理 https://jalammar.github.io/illustrated-stable-diffusion/ 这份完整版的SD整合包已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 二、本地部署安装SD WebUI
硬件条件
说明本地部署的硬件要求当然使用云端部署租赁更高端的机器也是没问题。
最低推荐配置推荐配置备注显卡GPUGTX1050Ti低配推荐RTX4060Ti-16G高配推荐RTX4090为达到良好的体验请尽可能使用8GB显存及以上显卡。低显存虽然能跑但是体验极差内存RAM8GB内存总内存24GB及以上可以开启虚拟内存内存过小会在加载模型的时候出现问题存储空间20GB任意存储设备500GB以上固态硬盘强烈建议单独使用一个盘符如果不想启动的时候等10分钟的话那么只推荐使用SSDCPUx86架构的Intel或AMD等处理器都可以若为Mac电脑建议使用搭载M系列芯片的机型。
显卡VRAM在4GB以下的会很容易遇到显存不足的问题即使使用放大插件也就非常慢以时间换显存
2. 显卡较差/显存严重不足时可以开启CPU模式但是速度非常慢。你不希望一个小时一张图的话那就别想着用CPU跑图。
软件需求
Windows最低要求为Windows 10 64比特请确保系统已更新至最新版本。
macOS最低要求为macOS Monterey (12.5)如果可以的话请使用最新版macOS。建议使用搭载Apple Silicon M芯片 (M1、M2) 的Mac机型。旧款Mac需配备AMD独立显卡只有Intel核显的不能使用。
下载地址 (不藏着掖着直接拿走不谢) 这份完整版的SD整合包已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 安装部署
2025.1月 更新了最新的整合包无需任何操作即可达到最佳速度解压打开即用内置启动器。
整合包做了哪些事情打包了 Python、Git、CUDA 等等必须的环境并且放了运行必须的模型。简单来说整合包就是 SD-WebUI内核启动器安装好的环境必须的模型。你只需下载它解压就可以直接启动运行
特别鸣谢安装包作者秋葉aaaki
**三、**生成第一张SD绘画
启动“A启动器.exe” 加载更新 点击“一键启动” [不要关闭它],它会自动打开浏览器地址http://127.0.0.1:7860/?__themedark
基本功能介绍 界面及操作说明stable diffusion模型下拉替换大模型/底模正面提示词 Tag想要的内容提示词如masterpiece, best quality,反面提示词 Tag不想要的内容提示词如lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry提示词加权重(girl) 加权重这里是1.1倍。(girl)) 加很多权重1.1*1.11.21倍以此类推。提示词减权重[girl] 减权重一般用的少。减权重也一般就用下面的指定倍数。提示词指定权重(girl:1.5) 指定倍数这里是1.5倍的权重。还可以 (girl:0.9) 达到减权重的效果采样迭代步数不需要太大一般在50以内。通常28是一个不错的值。采样方法没有优劣之分但是他们速度不同。全看个人喜好。推荐的是图中圈出来的几个速度效果都不错提示词相关性代表你输入的 Tag 对画面的引导程度有多大可以理解为 “越小AI越自由发挥”太大会出现锐化、线条变粗的效果。太小AI就自由发挥了不看 Tag随机种子生成过程中所有随机性的源头 每个种子都是一幅不一样的画。默认的 -1 是代表每次都换一个随机种子。由随机种子生成了随机的噪声图再交给AI进行画出来
切换webUI黑白皮肤修改浏览器http地址 白http://127.0.0.1:7860/?__themelight 黑http://127.0.0.1:7860/?__themedark
输入提示词【1 girl】点击生成即可 我安装了皮肤插件所以和你运行的界面稍微酷炫一点_
**点点下方【收藏】和【点赞】再走赠人玫瑰 手留余香****
