网站icp备案号,大学网站建设招标,自助建站系统网站建设开发,wordpress社交风格模板AIGC专栏8——EasyPhoto 视频领域初拓展-让AIGC肖像动起来 学习前言源码下载地址技术原理储备Video Inference 功能说明 效果展示1、Text2Video功能说明a、实现原理简介b、文到视频UI介绍c、结果展示 2、Image2Video功能说明a、实现原理简介i、单图模式ii、首尾图模式 b、… AIGC专栏8——EasyPhoto 视频领域初拓展-让AIGC肖像动起来 学习前言源码下载地址技术原理储备Video Inference 功能说明 效果展示1、Text2Video功能说明a、实现原理简介b、文到视频UI介绍c、结果展示 2、Image2Video功能说明a、实现原理简介i、单图模式ii、首尾图模式 b、图到视频UIc、结果展示 3、Video2Video功能说明a、原理与功能b、视频到视频UIc、结果展示 分支安装1、已安装EasyPhoto2、未安装EasyPhoto 学习前言
图像的AI写真是AI人像的初步应用如何让图像动起来形成一段视频是AI写真领域的重要应用方向拓展。
文生视频图生视频与视频转视频是AI写真视频的3个方向。
源码下载地址
WebUI插件版本https://github.com/aigc-apps/sd-webui-EasyPhoto Diffusers版本https://github.com/aigc-apps/EasyPhoto
麻烦各位朋友点个Star这对我来讲还是很重要的
技术原理储备
近年来Stable Diffusion的开源使得更多非专业作画的用户也能通过简单的文字提示生成非常高质量的图片内容动漫、真人、场景。但静态图像的表达能力总是有限的如果能直接文生动画、动图那么Stable Diffusion的应用领域将大大增长。
随着Lora与Dreambooth的普及人们定制化模型的能力越来越强如果可以有一个类似于Controlnet的即用插件那么模型便有了定制生成动画的能力。
而AnimateDiff则是这样一种可以即插即用的插件作者提出了一种将任何定制化文生图模型拓展用于动画生成的框架可以在保持原有定制化模型画面质量的基础上生成相应的动画片段。
为了避免破坏原始文生图微调模型的生成能力AnimateDiff在文生图模型中插入了一个动作建模模块并从视频数据中学习动作先验。因为只是一个模块的插入类似于Controlnet加入了先验知识其实并不改变原有的Stable Diffusion结构所以AnimateDiff的拓展性非常强 其实就是在Stable Diffusion的每层后面新加上一层用于batch批次之间的理解动作信息。 因此我们选择AnimateDiff作为EasyPhoto视频领域拓展的应用技术让AIGC肖像成功动起来。
Video Inference 功能说明 效果展示
在EasyPhoto完成基于人像Lora训练后如何使用EasyPhoto完成以下的几种功能
Text2Video 使用指定user_id 描述文本进行具有指定人脸的视频生成Image2Video 使用指定user_id 模板图片 描述 进行人脸图片的动态视频生成。Video2Video 使用指定user_id 完成视频人像编辑。
1、Text2Video功能说明
a、实现原理简介
在Text2Video功能中我们首先自选的SD模型 AnimateDiff设置的mm_sd_v15_v2.ckptAnimate运动先验模型默认选取无需自己选择以及用户设定的prompt生成一段顺滑的带有人脸的视频。在生成的视频上逐帧进行EasyPhoto的前处理然后对视频使用EasyPhoto选择的SD模型 AnimateDiff User-Lora进行视频片段上的人脸重绘用于生成指定ID足够相似的顺滑的人脸。在重绘后的结果上逐帧进行EasyPhoto的后处理提升人脸的美观度和全局的和谐程度。
b、文到视频UI介绍 c、结果展示
下面的文到视频采用的参数是
Stable Diffusion ModelmajicmixRealistic_v7seed12345max_frame32fps8。
图中模特为 师兄亲信。
GIFpromptupper-body, look at viewer, 1girl, wear white dress, besides lake, smiles, Autumn Atmosphere, black eyes, black hair, (cowbody shot, realistic), daytime, f32upper-body, look at viewer, 1girl, wear white dress, In the room, luxurious lighting, laser light effects, black eyes, black hair, (cowbody shot, realistic), daytime, f32upper-body, look at viewer, 1girl, wear white dress, black eyes, black hair, Sitting by the edge of the grass, warm sunlight, half-body, illuminated(cowbody shot, realistic), daytime, f32
2、Image2Video功能说明
a、实现原理简介
i、单图模式
用户会输入一张图作为封面图该封面图会通过VAE映射到隐空间与img2img的步骤类似我们会对隐空间的特征进行一部分加噪。为了让图像 更能动起来 并且 动的更流畅然后我们会按照一定系数加上一个随机噪声构成初始化的潜变量。最后结合文本prompt监督生成Image2Video的视频。
在这里我们使用了两次加噪
如img2img的加噪这个是为了让图像可以走正常的生图流程只有在加了噪声后模型 才有能力发生变化 与 结合prompt 进行生成按照一定系数加上一个随机噪声这个 随机噪声 是 符合正态分布 的这次 加噪声 是为了生成的视频更流畅。
ii、首尾图模式
用户会输入两张图作为封面图和尾图该封面图和尾图会通过VAE映射到隐空间我们修改了隐向量的初始化利用首图和尾图的隐向量 插值 构成的 [init_latent, … ,end_latent]作为初始化。从而能生成连贯的从初始图到输出图的变化视频
b、图到视频UI c、结果展示
图中模特为 师兄亲信。
firstendGIFprompt1girlelegentsmilesshininglight1girlelegentsmilesfrom elegent to spotlight, dark to shining
3、Video2Video功能说明
a、原理与功能
在视频上逐帧进行EasyPhoto的前处理然后对视频使用EasyPhoto选择的SD模型 AnimateDiff User-Lora进行视频片段上的人脸重绘用于生成指定ID足够相似的顺滑的人脸。在重绘后的结果上逐帧进行EasyPhoto的后处理提升人脸的美观度和全局的和谐程度。
b、视频到视频UI c、结果展示
图中模特为 师兄亲信。
GIFsrclink原视频链接原视频链接
分支安装
当前尚未与main合并需要从分支上进行安装。
1、已安装EasyPhoto
如您已经下载并体验了EasyPhoto插件的人脸版本main您可进入EasyPhoto 安装目录进行分支的切换来使用或者备份原来文件夹然后走未安装的方案重装 进入EasyPhoto插件所在目录
git branch -a
git fetch origin
git checkout -b feature/keyframe_video remotes/origin/feature/keyframe_video2、未安装EasyPhoto
从WebUI 的网址下载安装。 或者手动下载 EasyPhoto feature/keyframe_video 代码文件包放置到相关文件夹。
