中科时代建设官方网站,广州天河区房价,建设档案员证书查询网站,网站建设维护属于什么专业引子
最近看新闻博客说零一科技的Yi-VL-Plus视觉大模型效果很不错#xff0c;那就想着尝尝鲜。这是第四篇关于视觉大模型的博客。之前有写过一篇零一科技的chat大模型零一科技Yi-34B Chat大模型环境搭建推理_python部署大模型yi-34b-chat-CSDN博客#xff0c;感兴趣的童…引子
最近看新闻博客说零一科技的Yi-VL-Plus视觉大模型效果很不错那就想着尝尝鲜。这是第四篇关于视觉大模型的博客。之前有写过一篇零一科技的chat大模型零一科技Yi-34B Chat大模型环境搭建推理_python部署大模型yi-34b-chat-CSDN博客感兴趣的童鞋可以移步。我个人始终觉得大模型发展之路还是要走小而精之路即模型小但能力强所以这篇就部署下6B的模型吧好吧也许最重要原因是我显卡不够。。。。OK让我们开始吧。
一、环境搭建
1、模型下载
git clone 魔搭社区
2、代码下载
git clone https://github.com/01-ai/Yi.git
3、安装环境
docker run -it -v /datas/work/zzq/:/workspace --gpusall pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel bash
cd /workspace/Yi-vl/Yi/VL
pip install -r requirements.txt -i Simple Index
二、代码运行
1、接口运行
python single_inference.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg --question Describe the cats and what they are doing in detail. 报错显卡不支持格式修改如下 继续运行 2、命令行交互
python cli.py --model-path model/Yi-VL-6B/ --image-file images/cats.jpg 报错显卡不支持格式修改如下
