三合一网站管理系统,怎么建做网站,品牌建设策略有哪些,贵阳网站制作计划基于前面的安装经验#xff0c;千问大模型的本地部署并不算难#xff0c;主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求#xff0c;本机的硬件配置为N卡3060#xff0c;显存12G。 使用conda创建虚拟环境#xff0c;主要版本如下#xff1a;
Pyth…基于前面的安装经验千问大模型的本地部署并不算难主要时间用在大模型文件的下载上。同时系统运行对硬件也有较高的要求本机的硬件配置为N卡3060显存12G。 使用conda创建虚拟环境主要版本如下
Python 3.9.18
CUDA 12.1
pytorch 2.2.2
2. 克隆代码到本地
git clone https://github.com/QwenLM/Qwen.git
3. 进入Qwen目录执行安装命令
# 安装依赖
pip install -r requirements.txt
# 安装 web_demo 依赖
pip install -r requirements_web_demo.txt
4. 运行命令
python web_demo.py --server-port 8087 --server-name 0.0.0.0
会下载很多模型文件需要一点时间。下载完成后启动界面如下 在输入框里输入沟通内容“你是谁”。我们看一下后台输出
