考试网站模版,建行系统,中国常用网页开发,网站建设须知文章目录 1 在Windows系统中安装Ollama#xff0c;并成功启动#xff1b;2 非docker方式安装open-webui3下载并部署模型deepseek-r1 Ollama Ollama 是一个命令行工具#xff0c;用于管理和运行机器学习模型。它简化了模型的下载与部署#xff0c;支持跨平台使用#xff0c… 文章目录 1 在Windows系统中安装Ollama并成功启动2 非docker方式安装open-webui3下载并部署模型deepseek-r1 Ollama Ollama 是一个命令行工具用于管理和运行机器学习模型。它简化了模型的下载与部署支持跨平台使用包括 Windows、Linux 和 MacOS 系统。用户可以通过 Ollama 访问丰富的模型库如 Qwen、Llama 等并支持自定义模型参数。 open-webui open-webui 是一个用户友好的 Web 界面用于与大型语言模型进行交互。它提供了一个直观的图形用户界面使用户能够更方便地与模型进行交互。类似于chatgpt的web界面 deepseek-r1 DeepSeek-R1 是由中国公司 DeepSeek 开发的大型语言模型。它以成本效益高和开放性受到科学家的欢迎能够生成类似于人类推理过程的逐步响应。 1 在Windows系统中安装Ollama并成功启动
在ollama官网中下载OllamaSetup.exe 点击OllamaSetup.exe进行安装按照提示一步步安装 安装完成以后直接去系统托盘里面查看ollama是否已经启动存在则代表启动成功后面第二次启动则像下图一样 这个时候其实已经可以在CMD窗口中通过ollama下载开源的大语言模型并在本地进行部署下图就是以Google的开源模型gemma2为例子 在ollama的library网页可以查看ollama可以下载并部署的大语言模型如下图选择的就是deepseek-r114b模型“B” 指的是模型的参数数量例如7B即这个模型有70亿Billion个参数。参数是机器学习模型中用来从数据中学习的变量。参数数量是衡量模型复杂度和容量的一个指标通常参数数量越多模型的表达能力越强但同时也需要更多的数据和计算资源来训练。所以在本地部署模型的时候要根据电脑配置选取合适参数变量的模型
2 非docker方式安装open-webui
使用 PyCharm 作为集成开发环境IDE并结合 Miniconda 来管理 Python 环境和依赖 pycharm创建项目(按需命名)miniconda创建虚拟环境注意创建时选用的python版本需要大于等于3.11 在pycharm终端确认虚拟环境已经激活然后通过以下命令安装open-webui安装过程会有些慢 pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui安装的时候会在这个地方卡很久请耐心等待5-10mins左右 3.通过以下命令启动open-webui下图是我第二次启动的样子第一次应该会比较慢需要安装很多依赖包如果过程中出现安装失败的情况就需要科学上网解决或者访问这个视频网址根据up主的方式去解决
open-webui serve 4.根据上面的信息open-webui是部署在本机的8080端口上所以通过以下网址可以进行访问访问以后来到注册界面如下图这个注册只需要填写信息即可注册且第一个注册人员就是管理员
localhost:8080成功登陆以后界面如下将界面语言设置成简体中文
3下载并部署模型deepseek-r1 1.在open-webui中按照下图标注打开管理模型的界面 2.点击标注的地方 3.按照以下标注顺序下载和部署模型 下载完成以后就可以按照下图在“新对话”的界面中选取部署好的模型然后就能正常使用了 更多关于open-webui的使用可以参考
三分钟一键部署Ollama解压即用OpenWebUIOllama本地部署保姆级教程非Docker轻松搭建大语言模型
