宁波营销网站建设外包,富顺做网站,舟山市住房与城乡建设厅网站,宁波随身云网络科技有限公司文章目录 基于Ollama平台部署的Qwen大模型实现聊天机器人1 概述2 技术栈2.1 开发技术2.2 环境 3 技术架构4 实现步骤4.1 环境搭建4.1.1 WSL配置及Ubuntu安装4.1.2 Ollama安装及模型部署 4.2 模块安装4.2.1 安装Streamlit 1.42.24.2.2 安装requests 2.32.34.2.3 安装ollama 0.4.… 文章目录 基于Ollama平台部署的Qwen大模型实现聊天机器人1 概述2 技术栈2.1 开发技术2.2 环境 3 技术架构4 实现步骤4.1 环境搭建4.1.1 WSL配置及Ubuntu安装4.1.2 Ollama安装及模型部署 4.2 模块安装4.2.1 安装Streamlit 1.42.24.2.2 安装requests 2.32.34.2.3 安装ollama 0.4.7 4.3 后端实现4.4 前端访问4.5 实现效果 5 通过curl命令行工具进行访问5.1 /api/chat 聊天对话接口案例 基于Ollama平台部署的Qwen大模型实现聊天机器人
1 概述
本案例旨在构建一个基于Python的交互式系统前端通过Streamlit框架实现简洁易用的用户界面后端基于Ollama平台部署Qwen模型提供自然语言处理NLP能力。用户可以通过前端界面与Qwen模型进行交互获取模型的响应结果。
2 技术栈
2.1 开发技术
前端Streamlit 1.42.2轻量级Web应用框架后端Ollama 0.5.12模型部署平台模型Qwen2:0.5b自然语言处理模型编程语言Python 3.12.8模块requests 2.32.3、ollama 0.4.7开发工具PyCharm 说明 安装requests 2.32.3、ollama 0.4.7只是为了演示两种访问方式开发场景中只要实现其中之一。 2.2 环境
系统Ubuntu 24.04.2 LTS系统服务WSL 2.4.11.0 说明 Windows Subsystem for Linux简称WSL是一个在Windows 10\11上能够运行原生Linux二进制可执行文件ELF格式的兼容层。它是由微软与Canonical公司合作开发开发人员可以在 Windows 计算机上同时访问 Windows 和 Linux 的强大功能。 通过适用于 Linux 的 Windows 子系统 (WSL)开发人员可以安装 Linux 发行版例如 Ubuntu、OpenSUSE、Kali、Debian、Arch Linux 等并直接在 Windows 上使用 Linux 应用程序、实用程序和 Bash 命令行工具不用进行任何修改也无需承担传统虚拟机或双启动设置的费用。 3 技术架构
4 实现步骤
4.1 环境搭建
4.1.1 WSL配置及Ubuntu安装
WSL配置以及Ubuntu系统安装可参考文章WSL安装及问题https://blog.csdn.net/mh942408056/article/details/145053974 注意 如果不准备在Liunx中安装Ollama可省略此步骤Ollama同时支持Windows安装。 4.1.2 Ollama安装及模型部署
Ollama安装以及模型的部署可参考文章Ollama安装与使用https://blog.csdn.net/mh942408056/article/details/146038905 注意 如果Windows中安装Ollama请去Ollama官网下载Windows版本。 4.2 模块安装
4.2.1 安装Streamlit 1.42.2
pip install streamlit说明 Steamlit帮助文档地址为https://docs.streamlit.io/ 4.2.2 安装requests 2.32.3
pip install requests说明 通过requests模块实现远程调用接口访问Ollama中的大模型。 4.2.3 安装ollama 0.4.7
pip install ollama说明 通过ollama模块实现本地调用接口访问Ollama中的大模型。 4.3 后端实现 注意 使用Ollama加载Qwen模型如 ollama run qwen2:0.5b。确保API服务可用默认地址为 http://localhost:11434/api/chat。 import ollama
import requests
import jsondef get_response(prompt):调用ollama聊天接口并返回结果方式一本地访问:param prompt: 历史对话、提示词:return:执行结果# 获取最后50个会话信息传送给模型模型会根据上下文回答最后一个问题response ollama.chat(modelqwen2:0.5b, messagesprompt[-50:], streamFalse)return response[message][content]def get_response_requests(url, prompt):调用ollama聊天接口并返回结果方式二远程访问:param url: 访问的接口:param prompt: 历史对话、提示词:return: 执行结果# 1 定义请求头headers {Content-Type: application/json}# 2 请求并返回结果response requests.post(url, headersheaders, datajson.dumps(prompt))# 3 判断返回结果状态if response.status_code 200:# 3.1 将文本转换成字典msg json.loads(response.text)# 3.2 返回消息return msg[message][content]else:return response.status_code, response.textif __name__ __main__:# 提示词prompt 学习streamlit的注意事项# 组装接口消息内容prompt_list [{role: user, content: prompt}]# # 通过ollama模块访问Ollama平台中的大模型# response get_response(prompt_list)# 通过requests模块访问Ollama平台中的大模型response get_response_requests(http://localhost:11434/api/chat, {model: qwen2:0.5b, messages: prompt_list,stream:False})print(response)4.4 前端访问
import streamlit as st
import chat_utils# 1 页面配置
st.set_page_config(page_title智聊机器人, # 页面标题page_icon:pirate_flag:, # 页面图标initial_sidebar_stateexpanded, # 初始状态侧边栏menu_items{Get Help: https://www.csdn.net/,Report a Bug: None,About: # 智聊机器人,}
)# 2 主界面主标题
st.title(智聊机器人)# 3 判断聊天记录是否存在会话状态中
if messages not in st.session_state: # 3.1 增加欢迎语st.session_state[messages] [{role: assistant, content: 你好我是智聊机器人有什么可以帮助您的吗 :santa:}]# 4 循环遍历会话状态中的消息
for message in st.session_state.messages:# 4.1 按角色将消息输出到页面with st.chat_message(message[role]):# 4.1.1 输出消息st.markdown(message[content])# 5.创建一个会话框
prompt st.chat_input(请输入您要咨询的问题)
# 6.判断是否有新的消息
if prompt:# 6.1 将消息追加到会话状态中st.session_state[messages].append({role: user, content: prompt})# 6.2 输出会话消息st.chat_message(user).markdown(prompt)# 7 增加旋转等待组件with st.spinner(:hourglass: AI小助手正在思考中...):# 7.1 调用Ollama聊天接口并接收返回结果content chat_utils.get_response(st.session_state[messages])# 8 记录assistant返回的消息st.session_state[messages].append({role: assistant, content: content})# 9 将返回消息输出到页面st.chat_message(assistant).markdown(content)4.5 实现效果 5 通过curl命令行工具进行访问
如果只是简单访问而不用开发代码可通过ollama run 模型名称:标签或curl实现快速访问。
ollama访问方式参考文章Ollama安装与使用https://blog.csdn.net/mh942408056/article/details/146038905。curl访问方式可参考官网APIhttps://github.com/ollama/ollama/blob/main/docs/api.md
5.1 /api/chat 聊天对话接口案例
curl http://localhost:11434/api/chat -d {\model\: \qwen2:0.5b\,\messages\: [ {\role\: \user\,\content\: \天空为何这么蓝\}]}注意 \用于转义引号如果不带将无法访问。
