aspcms网站,网站建设公司网址,60平方旧房翻新装修要多少钱,html5 网站源代码本周#xff0c;有关 OpenAI 宫斗的报道占据了Ai圈版面的主导地位#xff0c;吃够了奥特曼的大瓜。我们来看看Stability AI刚发布的Stable Video Diffusion#xff0c;这是一种通过对现有图像进行动画处理来生成视频的 AI 模型。基于 Stability 现有的Stable Diffusion文本到…本周有关nbsp;OpenAI 宫斗的报道占据了Ai圈版面的主导地位吃够了奥特曼的大瓜。我们来看看Stability AI刚发布的Stable Video Diffusion这是一种通过对现有图像进行动画处理来生成视频的 AI 模型。基于nbsp;Stability 现有的Stable Diffusion文本到图像模型Stable Video Diffusion 是开源或商业中为数不多的视频生成模型之一。
项目地址https://github.com/Stability-AI/generative-models Stable Video Diffusion是第一个以Stable Diffusion模型作为基础的影片生成模型官方在其研究论文提到近来研究人员在原本用于2D图像生成的潜在扩散模型Latent Diffusion ModelLDM加入时间层并且使用小型、高品质的影片资料集加以训练试图将其改造成影片生成模型。
Stability AI最新研究进一步定义出训练影片LDM的三个阶段分别是文字到图像的预训练、影片预训练最后则是高品质影片的微调。研究人员强调经过良好整理的预训练资料集对于产生高品质影片非常重要甚至还提出一套包括标题制作和过滤策略的系统性整理流程。
研究人员也展示了在高品质资料上微调基础模型的影响并训练出能够和闭源影片生成模型相匹敌的文字转影片模型。Stable Video Diffusion还可用于图像转影片的生成任务并且展现出强大的动作表示能力且适用特定相机运动的LoRA模块。主要特性:文本到视频、图像到视频14 或 25 帧576 x 1024 分辨率、多视图生成、帧插值、支持 3D 场景、通过 LoRA 控制摄像机。
Stable Video Diffusion在以下几个方面展现出显著的优势
1.高质量输出模型能生成接近真实的视频内容细节丰富色彩逼真。
2.快速响应相较于其他模型Stablenbsp;Video Diffusion在生成视频时更加高效减少了等待时间。
3.创意自由度用户可以通过简单的文本描述来指导视频内容的生成为创意提供了更大的空间。
目前Stability AI 发布两个Stable Video Diffusion版本SVD 和 SVD-XT分别是能够生成14帧以及25帧的模型用户可以自订每秒帧数在3到30之间。虽然高帧数的影片看起来更顺畅但是在目前的模型限制下如要产生每秒达30帧数的影片则两个模型产生的影片长度皆会少于1秒钟。
根据与Stable Video Diffusion 一起发布的白皮书SVD 和 SVD-XT 最初在数百万个视频的数据集上进行训练然后在数十万到大约一百万个剪辑的小得多的数据集上进行“微调”。这些视频的来源尚不清楚——该论文暗示许多视频来自公共研究数据集——因此无法判断是否有任何视频受版权保护。如果是的话它可能会让 Stability 和 Stable Video Diffusion 的用户面临有关使用权的法律和道德挑战。
需要注意的是目前还不是所有人都可以使用Stable Video Diffusion 已经开放了用户候补名单注册https://stability.ai/contact。 根据外部评估官方宣称SVD甚至比runway和Pika的影片生成AI更受使用者欢迎。nbsp;
尽管如此Stable Video Diffusionnbsp;在技术上仍有一定的限制例如无法生成静态或慢动作影像不能由文字控制无法清晰渲染文字也不能正确生成人脸和人物。同时Stable Video Diffusionnbsp;的推出也引发了一些担忧尤其是关于其可能被滥用的风险。该模型目前似乎没有内置的内容过滤器这可能会导致其被用于制作不当内容。
