国内响应式网站欣赏,中关村在线电脑官网,山东做网站找哪家好,养生网站源码下载【AI】Docker中快速部署Ollama并安装DeepSeek-R1模型: 一步步指南
一、前言
为了确保在 Docker 环境中顺利安装并高效运行 Ollama 以及 DeepSeek 离线模型#xff0c;本文将详细介绍整个过程#xff0c;涵盖从基础安装到优化配置等各个方面。通过对关键参数和配置的深入理解…【AI】Docker中快速部署Ollama并安装DeepSeek-R1模型: 一步步指南
一、前言
为了确保在 Docker 环境中顺利安装并高效运行 Ollama 以及 DeepSeek 离线模型本文将详细介绍整个过程涵盖从基础安装到优化配置等各个方面。通过对关键参数和配置的深入理解您可以更好地掌控资源使用、保障数据安全以及提升整体性能。
二、环境要求
在开始之前请确认以下环境需求 Docker 安装确保 Docker 已正确安装并能够正常运行容器。 GPU 支持推荐使用支持 NVIDIA GPU 的环境以提高模型推理速度。 网络连接部分步骤需要访问互联网以下载镜像或模型文件。 存储空间DeepSeek 模型文件较大确保有足够的磁盘空间。 DeepSeek模型DeepSeek-R1版本的硬件需求和适用场景 模型版本CPU需求内存需求硬盘需求显卡需求适用场景1.5B最低 4 核8GB3GB非必需纯 CPU 推理若 GPU 加速可选 4GB 显存如 GTX 1650低资源设备部署如树莓派、旧款笔记本实时文本生成聊天机器人、简单问答嵌入式系统或物联网设备7B8 核以上推荐现代多核 CPU16GB8GB8GB显存如RTX 3070/4060本地开发测试中小型企业中等复杂度NLP任务文本摘要、翻译轻量级多轮对话系统8B与7B相近略高10%-20%与7B相近略高10%-20%-与7B相近略高10%-20%需更高精度的轻量级任务如代码生成、逻辑推理14B12核以上32GB15GB16GB显存如RTX 4090或A5000企业级复杂任务合同分析、报告生成长文本理解与生成书籍/论文辅助写作32B16核以上如AMD Ryzen 9或Intel i964GB30GB24GB显存如A100 40GB或双卡RTX 3090高精度专业领域任务医疗/法律咨询多模态任务预处理需结合其他框架70B32核以上服务器级CPU128GB70GB多卡并行如2x A100 80GB或4x RTX 4090科研机构/大型企业金融预测、大规模数据分析高复杂度生成任务创意写作、算法设计671B64核以上服务器集群512GB300GB多节点分布式训练如8x A100/H100国家级/超大规模AI研究如气候建模、基因组分析通用人工智能AGI探索
三、Ollama 容器详细安装与配置
1. 运行ollama容器
docker run -d --name ollama \--gpusall \--oom-kill-disable \ # 防止因内存不足导致容器被杀死-m 8g \ # 为容器分配4GB内存可根据需要调整-c 2 \ # 分配2个CPU核心可根据需要调整-p 11434:11434 \-v /path/to/ollama/config:/root/.ollama/config \-v /path/to/ollama/models:/root/.ollama/models \-v /path/to/ollama/logs:/root/.ollama/logs \-e OLLAMA_ORIGINS*-e OLLAMA_PORT11434 \-e OLLAMA_HOST0.0.0.0 \-e OLLAMA_ORIGINShttp://localhost,http://your-domain.com \-e LOG_LEVELINFO \ollama/ollama:latest参数详解
--gpusall允许容器使用主机上的所有可用的GPU资源以加速DeepSeek模型的推理。--oom-kill-disable防止在内存不足导致容器被杀死这对于长时间运行或处理大型任务尤为重要。-m 8g为容器分配4GB示例值的内存。根据您的可用资源和DeepSeek模型的大小进行适当调整较大的模型可能需要更多内存。-c 2分配2个CPU核心如果模型推理主要依赖于CPU这能确保容器获得足够的计算能力。-p 11434:11434将主机的11434端口映射到容器内的11434端口方便外部访问Ollama服务。卷挂载Volumes /path/to/ollama/config:/root/.ollama/config将配置文件目录挂载到主机对应位置确保配置持久化不会因容器重启或删除而丢失。/path/to/ollama/models:/root/.ollama/models模型文件持久化存储在主机上避免每次下载并节省时间。/path/to/ollama/logs:/root/.ollama/logs日志文件持久保存便于长期监控和故障排查。 环境变量Environment Variables OLLAMA_ORIGINS*允许所有来源访问 Ollama API。OLLAMA_PORT11434指定Ollama服务监听的端口号需与映射端口一致。OLLAMA_HOST0.0.0.0允许容器内服务绑定到所有网络接口这样可以在不同主机和网络环境下访问。OLLAMA_ORIGINShttp://localhost,http://your-domain.com设置可信的请求来源提升安全性防止CSRF攻击。请将your-domain.com替换为实际使用域名或IP地址。LOG_LEVELINFO调整日志输出级别便于监控和调试。
2. 进入ollama
# 进入ollama容器
docker exec -it ollama /bin/bash
# 查看帮助
ollama --help四、Deepseek模型部署与运行
1. 下载运行模型
ollama pull deepseek-r1:7b2. 运行deepseek模型
ollama run deepseek-r1:7b3. 测试是否成功
# ollama访问IP和端口
curl http://localhost:11434/api/generate -d {model: deepseek-r1:70b,prompt:你好
}五、Cherry Studio交互界面
1. 下载Cherry Studio
Cherry Studio 2. 配置Deepseek模型 3. 使用
