网页制作正版网站,注册公司该怎么注册,天津建设网站安管人员成绩查询,无锡网站博客地址#xff1a; ollama和open-webui部署ds
引言
最近#xff0c;deepseek是越来越火#xff0c;我也趁着这个机会做了下私有化部署#xff0c;我这边使用的ollama和 open-webui实现的web版本
ollama
简介
Ollama 是一个开源的工具#xff0c;专门用于简化机器学…博客地址 ollama和open-webui部署ds
引言
最近deepseek是越来越火我也趁着这个机会做了下私有化部署我这边使用的ollama和 open-webui实现的web版本
ollama
简介
Ollama 是一个开源的工具专门用于简化机器学习和 AI 模型的部署。它提供了一个统一的平台允许你通过命令行工具创建、管理和更新模型。无论你是想在本地开发环境中运行模型还是将其部署到云端Ollama 都可以简化这一过程。
Ollama 支持多种常见的机器学习模型框架包括但不限于 TensorFlow、PyTorch、Hugging Face Transformers 等此外还支持类似 DeepSeek 这种自定义的搜索引擎模型。
核心特性
易于使用的命令行界面Ollama 提供了简单直观的命令行工具可以通过几条命令就完成模型的创建、启动、更新等操作。环境隔离Ollama 可以为每个模型提供独立的运行环境避免了不同模型之间的依赖冲突。跨平台支持无论你是使用 Linux、Mac 还是 WindowsOllama 都可以无缝运行。自动更新Ollama 会自动为模型提供更新确保你使用的是最新的版本。高效的资源管理通过 Ollama你可以有效地管理计算资源包括 CPU 和 GPU 的使用确保模型运行的高效性。
安装
Linux
使用root用户执行下面的命令
curl -fsSL https://ollama.com/install.sh | shwindows
直接下载安装包windows安装包
macos
下载压缩包https://ollama.com/download/Ollama-darwin.zip
环境变量
为了Ollama能够对外提供服务需要设置OLLAMA_HOST
在Linux上设置
如果Ollama作为systemd服务运行通过systemctl设置环境变量 使用systemctl edit ollama.service命令编辑systemd服务将打开一个编辑器。 对每个环境变量在[Service]部分添加两行行Environment EnvironmentOLLAMA_HOST0.0.0.0
EnvironmentOLLAMA_ORIGINS*红框内为后加的两行代码 保存并退出。 重新加载systemd并重启Ollama systemctl daemon-reload
systemctl restart ollama在Windows上设置
在Windows上Ollama会继承您的用户和系统环境变量。
首先通过任务栏图标退出Ollama从控制面板编辑系统环境变量为OLLAMA_HOST、OLLAMA_ORIGINS等编辑或新建变量。点击OK/Apply保存然后从新的终端窗口运行ollama。
启动ollama服务
执行命令
systemctl start ollama部署 DeepSeek
通过https://ollama.com/library找到对应的模型点进模型有拉取运行的命令比如说
deepseek-r1:7b的模型执行下面的命令就可以拉取并运行其模型
ollama run deepseek-r1下面是操作截图如果你已经拉取并运行模型了可以直接进行open-webui的步骤了
从https://ollama.com/library开始页面如下 点击你需要的模型deepseek-r1点击后页面如下 左侧红框是你需要下载的版本这里默认就是7b版本了如果你需要其他版本可以通过下拉列表切换
右侧红框就是你需要执行的命令执行该命令就可以拉取并运行其模型
open-webui
现在ds已经可以用了但是还缺少应该web界面我这边选择的是open-webui可以直接通过浏览器访问
docker-compose安装open-webui
这个就相对简单了我使用的docker-compose部署下面是docker-compose文件
services:open-webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: open-webuivolumes:- ./data:/app/backend/dataports:- 8088:8080restart: always不过这个启动后要等很久的时间原因是默认的docker镜像是以openai为主的但是默认情况下没有配所以等的时间比较久。
出现下图中最后一行就是部署好了 open-webui配置 ollamadeepseek
看到http://0.0.0.0:8080这个说明可以在浏览器中打开了注意浏览器打开时端口是你docker-compose里面引出的不一定是8080我这个docker-compose端口就是8088接下来浏览器输入http://ip:8088/打开页面如下 首次使用需要创建管理员账号点击开始使用进行创建页面如下 内容输入完点击”创建管理员账号“因为默认的openai这一步一样的需要等很长一段时间不要着急慢慢等出现下面的界面就可以进行下一步了 点击红框的按钮后依次按照下面图片的顺序进行操作 这地方注意下1那地方的如果你不使用OpenAI API一定要想我上面截图中那样给关了要不之后再进页面还是需要等很长一段时间然后设置好ollama的连接按照我文档中安装的话填入的内容就是http://IP:11434全部填完后保存 保存后右上角出现提示这时候就已经完全配好了接下来可以重新打开页面http://IP:8088/看看效果了
页面如下打开后页面直接进入了而且左上角的模型也默认加载出来了如果你的ollama安装的多个模型可以通过红框的下拉列表切换 最后就是看看提问效果了当然我这个服务器配置不行速度一般般但是提问的结果已经显示出来了
