哈尔滨网站开发公司电话,html居中代码,美妆网站模版,高校建设主流的校园网站阿里Qwen2开源大模型本地部署及调试全攻略
#Qwen2系列大模型性能卓越#xff0c;超越业界知名模型。开源后受到AI开发者关注#xff0c;支持多种语言#xff0c;提升多语言理解。在预训练和微调上优化#xff0c;实现智能水平提升。Qwen2系列模型在各项能力上均领先#…阿里Qwen2开源大模型本地部署及调试全攻略
#Qwen2系列大模型性能卓越超越业界知名模型。开源后受到AI开发者关注支持多种语言提升多语言理解。在预训练和微调上优化实现智能水平提升。Qwen2系列模型在各项能力上均领先为全球开发者提供更多选择。
通义千问 Qwen2登顶国内第一大模型相比近期推出同等规模的开源最好的Llama3-8B、GLM4-9B等模型Qwen2-7B-Instruct依然能在多个评测上取得显著的优势尤其是代码及中文理解上
本次在本地安装部署的是qwen2-7b-instruct版本
Qwen2系列模型家族发布了系列GGUF格式模型。通过llama.cpp/Ollama等生态的发展很多大语言模型都支持GGUF格式极大地简化了大语言模型的应用流程让即便是模型领域的初学者只有一台CPU笔记本也能轻松上手顶尖的AI技术。
硬件条件非常有限但是也能够进行安装部署和运行非常惊喜 本次使用的是macbook air 笔记本操作系统windows10 专业版CPU: i5-5250U 内存8G 没有独立显卡。 可以成功安装但是运行速度很慢一个问题使用终端命令行AI回答要1分钟使用ollama网页版AI回答要4分钟。CUP和内存的占用都非常高。以下是实测的页面截图。 下面我们一步步来展开跟大家介绍安装步骤以及在本次安装中遇到的问题和解决办法。
一、qwen2-7b下载
GGUF通常可以通过单模型文件完成推理魔搭社区可以通过命令行CLIPython SDK页面下载等多个方式下载单个模型。 https://modelscope.cn/models/qwen/qwen2-7b-instruct-gguf/files qwen2-7b-instruct-gguf 下载地址
二、安装Python依赖包
本次电脑已经安装了anaconda和python3.12.4 需要安装采用清华国内的镜像速度会快很多
pip install llama-cpp-python -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install openai
pip install uvicorn
pip install starlette
pip install fastapi
pip install sse_starlette
pip install starlette_context
pip install pydantic_settings在构建RAG-LLM系统时用到了llama_cpp这个python包。但是一直安装不上报错。 “ERROR: Failed building wheel for llama_cpp_python” “ERROR: Could not build wheels for llama_cpp_python, which is required to install pyproject.toml-based projects” 解决方法如下安装visual studio 2022并且勾选C桌面开发选项与应用程序开发选项必须要安装SDK 官网下载地址https://visualstudio.microsoft.com/zh-hans/vs/ 三、启动Qwen2-7B-Instruct大模型
CMD打开一个终端窗口切换到GGUF模型文件目录然后执行下面的指令启动Qwen2-7B大模型
python -m llama_cpp.server --model ./qwen2-7b-instruct-q5_k_m.gguf \成功完成后不要关闭窗口
编写一个python client.py文件本次采用的是PYcharm工具代码如下然后执行该代码就可以用命令行和Qwen2-7B-Instruct大模型进行对话Qwen2和openai调用的接口可以通用
from openai import OpenAI# 注意服务端端口因为是本地所以不需要api_key
client OpenAI(base_urlhttp://127.0.0.1:8000/v1,api_keynot-needed)# 对话历史设定系统角色是一个只能助理同时提交“自我介绍”问题
history [{role: system, content: 你是一个智能助理你的回答总是容易理解的、正确的、有用的和内容非常精简.},
]# 首次自我介绍完毕接下来是等代码我们的提示
while True:completion client.chat.completions.create(modellocal-model,messageshistory,temperature0.7,streamTrue,)new_message {role: assistant, content: }for chunk in completion:if chunk.choices[0].delta.content:print(chunk.choices[0].delta.content, end, flushTrue)new_message[content] chunk.choices[0].delta.contenthistory.append(new_message)print(\033[91;1m)user_input input( )if user_input.lower() in [bye, quit, exit]: # 我们输入bye/quit/exit等均退出客户端print(\033[0mBYE BYE!)breakhistory.append({role: user, content: user_input})print(\033[92;1m)四、安装OllamaWebUI智能AI交互聊天
打造一个像chatgpt一样但专属于你自己的智能AI交互聊天 安装Node.js编程语言工具包 https://nodejs.org/zh-cn
安装完成之后可以验证一下 Node.js 的版本建议用目前的最新v20版本
node -v下载安装Ollama本地大模型管理工具 https://ollama.com/ 安装包下载之后的安装过程和日常安装其他软件没有差别包括点击Next以及Install等安装ollama到命令行。安装后续步骤中我们可无需安装任何模型因为我们在上文中我们已经安装了Qwen2-7B大模型后面可以直接使用。
将qwen2-7b-instruct-q5_k_m.gguf 的模型拷贝到ollama指定目录下 以下以win10安装ollama情况下的操作为例把模型拷贝到C:\Users\administer.ollama\models\qwen2-7b-instruct-q5_k_m.gguf类似目录下确认自己电脑上的路径。 在.ollama\models\下创建一个qwen2-7b.mf 文件名字可以自定义能区分是哪个大模型就行内容如下
FROM C:\Users\administer\.ollama\models\qwen2-7b-instruct-q5_k_m.ggufTEMPLATE {{ if .System }}|im_start|system
{{ .System }}|im_end|{{ end }}|im_start|user
{{ .Prompt }}|im_end|
|im_start|assistantPARAMETER stop |im_start|
PARAMETER stop |im_end|注意路径必须替换成自己的路径和文件名。 用Ollama加工你的本地大模型文件 在命令行终端中cd到C:\Users\administer.ollama\models换成自己的路径 然后运行ollama create qwen2-7b.mf替换成自己的大模型文件名和.mf文件名 同时在\models\blobs目录下面会多出一个转换后的大模型原来的大模型可以删了或移走如下图 使用CMD 在指定目录下执行ollama list命令可以看到你的本地模型了 然后执行 ollama run qwen2-7b-instruct-q5_k_m 启动 C:\Users\Administrator.ollama\modelsollama run qwen2-7b-instruct-q5_k_m 启动完毕其实我们已经有了一个和之前差不多的控制台对话界面也可以与Qwen2-7B对话了
控制台聊天对话界面体验总归是不太好接下来部署 Web 可视化聊天界面。 首先下载ollama-webuiWeb 工程代码git clone https://github.com/ollama-webui/ollama-webui-lite 然后切换ollama-webui代码的目录cd ollama-webui-lite
设置 Node.js 工具包镜像源以接下来下载 Node.js 的依赖包更加快速 npm config set registry http://mirrors.cloud.tencent.com/npm/ 安装 Node.js 依赖的工具包npm install 最后启动 Web 可视化界面npm run dev 打开浏览器输入 http://localhost:3000/ 就可以访问网站了
如果不能正常选择大模型 在ollama-webui-lite-main的目录外面增加一个Modelfile.py文件 代码如下
FROM ./qwen2-7b-instruct-q5_k_m.gguf并将 qwen2-7b-instruct-q5_k_m.gguf 文件也copy到这个目录 最后执行Modelfile.py 文件 以上是亲测的安装过程欢迎大家讨论
