网站建设公司清明雨上,广州市建设工程档案馆网站,个人博客网站需要备案吗,交互设计网站推荐在linux上部署ollamaopen-webu#xff0c;且局域网访问教程 运行ollamaopen-webui安装open-webui #xff08;待实现#xff09;下一期将加入内网穿透#xff0c;实现外网访问功能 本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具#xff0c;并使用Op… 在linux上部署ollamaopen-webu且局域网访问教程 运行ollamaopen-webui安装open-webui 待实现下一期将加入内网穿透实现外网访问功能 本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具并使用Open WebUI 经使用qwen2.5:32b模型效果很好在24gb模型上速度很快 目录 Ollama支持当前主要的开源大模型 比如llama2、千文qwen、mistral等可以在Windows、Linux、MacOS系统上进行部署。稳定性和便利性都非常不错下面就来分享一下它在Linux系统上的安装与应用。
运行ollama
运行后直接自动安装
curl -fsSL https://ollama.com/install.sh | shollama运行 现在Ollama已经安装完了我们需要在终端中输入下方命令运行一个大语言模型进行测试这里以对在中文方面表现相对好些的千问为例大家也可以使用其他的模型。
ollama serve在另一个终端中验证 Ollama 是否正在运行
ollama -v设置ollama的参数设置/etc/systemd/system/ollama.service
sudo vim /etc/systemd/system/ollama.service输入以下的参数
[Unit]
DescriptionOllama Service
Afternetwork-online.target[Service]
ExecStart/usr/local/bin/ollama serve
Userollama
Groupollama
Restartalways
RestartSec3
EnvironmentPATH/home/lvting/anaconda3/bin:/home/lvting/anaconda3/bin:/home/lvting/anaconda3/condabin:/home/lvting/.vscode-server/cli/servers/Stable-384ff7382de624fb94dbaf6da11977bba1ecd427/server/bin/remote-cli:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
EnvironmentOLLAMA_MODELS/data/lt/1/.ollama/ # 设置模型下载的路径
EnvironmentOLLAMA_HOST0.0.0.0 #可访问
EnvironmentOLLAMA_ORIGINS*
[Install]
WantedBydefault.target然后启动服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama这样说明就启动了 运行qwen2.5模型
ollama run qwen2.5:3b然后直接输入问题就可以回答了
open-webui
虽然直接使用ollama的方法可以用但是不太方便使用webui的可视化更简洁明了
安装open-webui
首先在linux中安装open-webui
使用默认配置安装 刚才 Ollama 在您的计算机上请使用以下命令 使用这个命令
sudo docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main因为我已经安装完成了且open-webui服务已经启动所以输入命令后会提示
sudo docker ps # 输入这个命令可以查看到正在运行的docker以下为其他选项 如果 Ollama 位于其他服务器上请使用以下命令
要连接到另一台服务器上的 Ollama请将 更改为服务器的 URLOLLAMA_BASE_URL 这个此次不介绍下次尝试使用
docker run -d -p 3000:8080 -e OLLAMA_BASE_URLhttps://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main要运行支持 Nvidia GPU 的 Open WebUI请使用以下命令
docker run -d -p 3000:8080 --gpus all --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda安装完成后open-webui的网站为http://{ip}:3000/ 此处需要将网站的ip修改服务器内网的ip
ifconfig # 查看服务器ip
然后打开网站如
http://192.168.1.23:3000/这里可以选择模型
待实现下一期将加入内网穿透实现外网访问功能
