广州做网站推广的公司,河南企业网络推广方法,百度广告联盟平台官网,时间管理系统 网站开发浅谈人工智能之基于容器云进行图生视频大模型搭建
根据之前我们所讲过的内容#xff1a; 文生图 文生视频 我们继续讲解图生视频大模型搭建。
引言
随着深度学习技术的不断发展#xff0c;图生视频#xff08;image-to-video#xff09;大模型成为了计算机视觉和自然语言…浅谈人工智能之基于容器云进行图生视频大模型搭建
根据之前我们所讲过的内容 文生图 文生视频 我们继续讲解图生视频大模型搭建。
引言
随着深度学习技术的不断发展图生视频image-to-video大模型成为了计算机视觉和自然语言处理领域的一个研究热点。图生视频模型可以根据输入的文本描述生成高质量的视频广泛应用于艺术创作、广告设计、虚拟现实等领域。本文将介绍如何搭建一个基于iic/Image-to-Video的文生视频大模型。
模型效果展示
我们首先看一下我们对搭建好的模型的效果进行展示我们输入的图片如下 ## 环境搭建 基于上一篇文生图的模型搭建我们进行文生视频的搭建。 第一步依赖安装
pip install modelscope1.8.4
pip install xformers0.0.20
pip install torch2.0.1
pip install open_clip_torch2.0.2
pip install opencv-python-headless
pip install opencv-python
pip install einops0.4
pip install rotary-embedding-torch
pip install fairscale
pip install scipy
pip install imageio
pip install pytorch-lightning
pip install torchsde第二步模型下载调用
from modelscope.pipelines import pipeline
from modelscope.outputs import OutputKeyspipe pipeline(taskimage-to-video, modeldamo/Image-to-Video, model_revisionv1.1.0, devicecuda:0)# IMG_PATH: your image path (url or local file)
output_video_path pipe(/root/image.jpg, output_video./output.mp4)[OutputKeys.OUTPUT_VIDEO]
print(output_video_path)第三步大概率情况下会提示没有安装ffmpeg提示
2024-11-26 17:10:12,990 - modelscope - ERROR - Save Video Error with /bin/sh: 1: ffmpeg: not found
2024-11-26 17:10:12,996 - modelscope - WARNING - task image-to-video output keys are missing第四步安装ffmpeg
sudo apt update
sudo apt install ffmpeg第五步再次跑py脚本我就可以获得对应的输出视频了如果上述跑脚本的时候提示缺少对应依赖根据提示信息再对对应依赖进行安装部署。
