做外贸营销型网站,后台网站建设招聘,校园推广的方式有哪些,seo搜索引擎优化原理一、下载 Ollama
本地化部署需要用到 Ollama#xff0c;它能支持很多大模型。官方网站#xff1a;https://ollama.com/ 点击 Download 即可#xff0c;支持macOS,Linux 和 Windows#xff1b;我下载的是 mac 版本#xff0c;要求macOS 11 Big Sur or later#xff0c;Ol…一、下载 Ollama
本地化部署需要用到 Ollama它能支持很多大模型。官方网站https://ollama.com/ 点击 Download 即可支持macOS,Linux 和 Windows我下载的是 mac 版本要求macOS 11 Big Sur or laterOllama是跳转到github去下载的如果下载不了可能要借助科学上网。
下载的是个压缩包直接双击就可以解压出Ollama.app点击运行即可安装 安装成功之后ollama会在后台运行启动命令行输入ollama 出现以上页面即表示安装成功
二、下载DeepSeek-R1
还是进入ollama.com的页面点击Models 下载deepseek-r1 deepseek-r1有很多个版本1.5b7b8b14b32b70b671b分别代表模型不同的参数数量。
B Billion十亿参数表示模型的参数量级直接影响计算复杂度和显存占用。 DeepSeek 1.5B15亿参数小型模型适合轻量级任务DeepSeek 7B70亿参数主流规模平衡性能与资源DeepSeek 70B700亿参数高性能需求场景DeepSeek 671B6710亿参数超大规模对标PaLM/GPT-4
每个版本对应所需的内存大小都不一样如果你电脑运行内存为8G那可以下载1.5b7b8b的蒸馏后的模型如果你电脑运行内存为16G那可以下载14b的蒸馏后的模型我这里选择14b的模型。
使用ollama run deepseek-r1:14b 进行下载在命令行里面输入
ollama run deepseek-r1:14b 使用ollama list 查看是否成功下载了模型 输入ollama run deepseek-r1:14b运行模型启动成功后就可以输入我们想问的问题模型首先会进行深度思考也就是think标签包含的地方思考结束后会反馈我们问题的结果。在之后输入想要咨询的 问题模型回答的速度取决电脑的性能。 使用快捷键Ctrl d 或者在之后输入 /bye即可退出对话模式。
## 删除模型
ollama rm deepseek-r1:14b
## 停止模型
ollama stop deepseek-r1:14b
三、web页面的访问
我们通过ollama下载模型后可以在命令行使用deepseek了但是命令行的形式还是有些不友好我们可以借助chatBox或者Open-WebUI只要接入ollama的Api就可以使用了。
1、Open-WebUI
Open WebUI是一个可扩展、功能丰富、用户友好的自托管AI平台旨在完全离线运行。它支持各种LLM运行程序如Ollama和OpenAI兼容的API内置RAG推理引擎使其成为一个强大的AI部署解决方案本地需要安装Python3版本3.113.13以下。
安装 Open-WebUI需要使用pip进行安装安装需要一定时间
pip install open-webui
### 如网络太差可以使用国内的镜像下载
pip install open-webui -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
如果 pip 版本较低可以更新下
python3 -m pip install --upgrade pip
使用如下命令启动open-webui服务启动需要一定时间
open-webui serve
后使用浏览器输入http://127.0.0.1:8080/登录服务注意端口的占用冲突页面如下 点击开始使用第一次使用需要注册用户名、邮件以及密码这都是存在本地的可以放心填写。 注册完毕后如果本地已经运行了deepseek-r1它可以自动识别本地已经安装的deepseek r1大模型 在对话框里面输入内容即可与deepseek-r1展开对话 2、ChatBox
Chatbox AI 是一款 AI 客户端应用和智能助手支持众多先进的 AI 模型和 API可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
我这里下载的mac版本成功安装启动后点击左下角的设置 模型提供方选择Ollama API 模型选择本地部署好的deepseek-r1:14b点击保存即可以开始对话 最后蒸馏模型不同规格的选择需要结合自己电脑的配置来选择不合适的模型会导致电脑过载对话回答的速度和效果问题都会很差。我电脑内存16GB以为14b能扛得住结果安装之后对话巨慢后面安装了8b运行起来速度就快多了但是通过页面的返回速度会变慢。
