太原网站开发定制,四川建设网站项目招标,浏览器推广怎么收费,网页无法访问qq可以登陆文章目录 大模型工具Ollama下载安装运行Spring Ai 代码测试加依赖配置写代码 ollama的webDesktop搭建部署Open WebUI有两种方式Docker DesktopDocker部署Open WebUIDocker部署Lobe Chat可以配置OpenAI的key也可以配置ollama 大模型的选择 本篇基于windows环境下配置 大模型… 文章目录 大模型工具Ollama下载安装运行Spring Ai 代码测试加依赖配置写代码 ollama的webDesktop搭建部署Open WebUI有两种方式Docker DesktopDocker部署Open WebUIDocker部署Lobe Chat可以配置OpenAI的key也可以配置ollama 大模型的选择 本篇基于windows环境下配置 大模型工具Ollama
https://ollama.com/ 下载
https://ollama.com/download windows环境下就安装windows版本 安装
点击下载的exe文件进行傻瓜式安装
运行
去ollama官网models模块下找大模型的名字然后复制ollama的运行名字 https://ollama.com/library
ollama run qwen:4bSpring Ai 代码测试
默认ollama会监听11434端口可以使用下面命令查看
netstat -ano | findstr 11434可以使用ollama list指令查看本地已经下好的大模型
ollama list加依赖
dependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-ollama-spring-boot-starter/artifactId/dependency或者使用23版以上的idea创建spring项目的时候选最新版本直接勾选上AI模块下的ollama模块
配置
spring:application:name: open-ai-05-ollamaai:ollama:base-url: http://localhost:11434chat:options:model: qwen:4b 写代码 RestController
public class OllamaController {Autowiredprivate OllamaChatClient ollamaChatClient;RequestMapping(value /ai/ollama)public Object ollama(RequestParam(value msg) String msg){String call ollamaChatClient.call(msg);System.out.println(call);return call;}RequestMapping(value /ai/ollama2)public Object ollama2(RequestParam(value msg) String msg){ChatResponse response ollamaChatClient.call(new Prompt(msg,OllamaOptions.create().withModel(qwen:4b).withTemperature(0.4f)));String content response.getResult().getOutput().getContent();System.out.println(content);return content;}
}ollama的webDesktop
看ollama的github主页下面有很多的webDesktop比较流行的是Open WenUI Open WenUI Github https://github.com/open-webui/open-webui Open WenUI 官网https://github.com/open-webui/open-webui
搭建部署Open WebUI有两种方式
Docker方式官网推荐源代码部署安装方式文档https://docs.openwebui.com/getting-started/
Docker Desktop
windows环境下推荐使用Docker Desktop
轻量化界面化操作Docker容器 官网下载安装包 https://www.docker.com/products/docker-desktop/ 下载后傻瓜式安装即可安装后需要重启然后打开Docker Desktop后的界面如下
Docker部署Open WebUI
在docker中运行Open WebUI 在命令行运行docker指令
docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v D:\dev\open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这是一个 docker run 命令用于启动一个新的 Docker 容器下面是这个命令各个部分的解释
docker run这是 Docker 的命令用于从指定的镜像启动一个新的容器-d表示在“分离”模式下运行容器即后台运行-p 3000:8080端口映射表示将宿主机的3000端口映射到容器的8080端口当你访问宿主机的3000端口时实际上会访问容器内的8080端口–add-hosthost.docker.internal:host-gateway这个选项向容器的 /etc/hosts 文件中添加一条记录这通常用于让容器能够解析到宿主机的名称并且将其 IP 地址设置为宿主机的网关地址这在某些网络配置中很有用尤其是当容器需要知道宿主机的地址时-v D:\dev\open-webui:/app/backend/data卷挂载这表示将宿主机的 D:\dev\open-webui 目录挂载到容器内的 /app/backend/data 目录这样容器和宿主机之间可以共享这个目录中的数据–name open-webui为容器指定一个名称这里是 open-webui–restart always这个选项告诉 Docker 在容器退出时总是自动重启它无论容器是因为何种原因退出它都会自动重启ghcr.io/open-webui/open-webui:main这是你要运行的 Docker 镜像的完整名称ghcr.io 是 GitHub Container Registry 的地址open-webui/open-webui 是镜像的仓库和名称main是标签通常表示该镜像的最新或主分支版本
第一次运行需要拉取镜像比较慢等待执行完成 这时候打开docker desktop就可以在images模块下看到拉取到的镜像
我们在拉取镜像的时候指定了Web UI的端口为3000所以访问3000端口即可
http://localhost:3000/第一次会要求登录 注册并登录 上来后和Chatgpt的页面很像的。 select model的地方选择上我们通过ollama部署的模型。然后就可以开心聊天了
Docker部署Lobe Chat
官网https://lobehub.com/ Githubhttps://github.com/lobehub/lobe-chat
Built for you the Super Individual 专为你打造的超级个人现代化设计的开源 ChatGPT/LLMs聊天应用与开发的UI框架 支持语音合成、多模态、可扩展的function call插件系统一键免费拥有你自己的ChatGPT/Gemini/Claude/Ollama 应用
Lobe Chat 部署
使用 Vercel、Zeabur 或 Sealos 部署使用 Docker 部署
docker run -d -p 3210:3210 -e OPENAI_API_KEYsk-xxxx -e ACCESS_CODElobe66 --name lobe-chat lobehub/lobe-chat完整的部署文档https://lobehub.com/zh/docs/self-hosting/start
同样的在拉取完成后docker desktop中也会有镜像 同样的方式访问我们指定的3210端口 这个需要点击设置去配置模型
可以配置OpenAI的key 注意代理的地址要在后面加上/v1 配置好后就可以访问openai
也可以配置ollama 本机默认代理地址可以不用配模型列表中选上你的模型就可以使用了。 还可以加插件使用 也可以在本地部署更强大的模型使用图片文件音频等模态
大模型的选择
大语言模型主要分为国外大模型 和 国内大模型国外大模型可能受到一些限制或者不稳定国内也有非常优秀的大模型国内大模型排行榜 https://www.superclueai.com/基于中文语言理解测评基准包括代表性的数据集、基准(预训练)模型、语料库、排行榜选择一系列有一定代表性的任务对应的数据集做为测试基准的数据集这些数据集会覆盖不同的任务、数据量、任务难度
