网站做反向代理对百度收录有影响吗,网站开发专业主修课程,徐州网站优化价格,可以做软件的网站有哪些功能一、总体方案 目前在使用 DeepSeek 在线环境时#xff0c;页面经常显示“服务器繁忙#xff0c;请稍后再试”#xff0c;以 DeepSeek R1 现在的火爆程度#xff0c;这个状况可能还会持续一段时间#xff0c;所以这里给大家提供了 DeepSeek R1 RAG 的本地部署方案。最后实现…一、总体方案 目前在使用 DeepSeek 在线环境时页面经常显示“服务器繁忙请稍后再试”以 DeepSeek R1 现在的火爆程度这个状况可能还会持续一段时间所以这里给大家提供了 DeepSeek R1 RAG 的本地部署方案。最后实现的效果是结合本地部署的三个开源工具包括 1Panel、Ollama、MaxKB可以快速搭建一个本地知识库。以下总体方案及说明如下 首先基于 GPU 服务器承载 DeepSeek-R1 大模型其次基于 1Panel 新一代的 Linux 开源运维管理面板完成 MaxKB 和 Ollama 的安装运维管理最后通过 Ollama 安装管理 DeepSeek-R1 模型最后再通过 MaxKB 完成本地知识库的搭建让企业快速构建本地 AI 知识库。 1.1 DeepSeek DeepSeek是杭州深度求索公司开源出来的AI大模型在一些典型的应用场景比如智能对话、文本生成、计算推理、代码生成等场景表现都非常不错。它有两款大模型目前在全球都很受关注分别是 DeepSeek-V3 和 DeepSeek-R1 两个大版本。DeepSeek 在综合能力方面跟国外 OpenAI o1 版本大模型的性能基本不相上下。不管是训练成本还有使用成本都远低于国外同类型的大模型可以说是好用又便宜。DeepSeek 在线对话提供深度思考和联网搜索两种模式大家可以访问 DeepSeek 官网体验对话效果官网地址 DeepSeek 或者 DeepSeek 。 1.2 RAG RAG 是 “Retrieval-Augmented Generation” 的缩写中文可以翻译为“检索增强生成”。这是一种结合了检索Retrieval和生成Generation的自然语言处理技术用于提高语言模型在特定任务上的性能和准确性。在加上一个数据向量和索引的工作我们对 RAG 就可以总概方式地理解为“ 索引、检索和生成 ”。 检索Retrieval在这个阶段模型会从预先构建的大规模数据集中检索出与当前任务最相关的信息。这些数据集可以是文档、网页、知识库等。 生成Generation在检索到相关信息后模型会使用这些信息来生成答案或完成特定的语言任务。这个阶段通常涉及到序列生成技术如基于 Transformer 的模型。 创建索引将输入的文档切割成不同的数据块进行向量化处理后存储到向量数据库并创建索引。 向量检索将用户的提问信息向量化再到向量数据库进行搜索根据向量相似度的算法寻找相关性最强的文档片段。
1.3 开源三件套介绍 1.3.1 1Panel新一代的 Linux 服务器运维管理面板 通过 Web 图形界面轻松管理 Linux 服务器实现主机监控、文件管理、数据库管理、容器管理等功能。官方网址1Panel - 现代化、开源的 Linux 服务器运维管理面板 - 官网下载地址在线安装 - 1Panel 文档 1.3.2 OllamaLLM大型语言模型服务管理工具 Ollama是一个开源的 LLM大型语言模型服务工具用于简化在本地运行大语言模型使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型包括如Llama 3、DeepSeek、Qwen、Gemma 等开源的大型语言模型。官网地址 Ollama 1.3.3 MaxKB基于大语言模型和 RAG 的开源知识库问答系统 MaxKB Max Knowledge Base是一款基于大语言模型和 RAG 的开源知识库问答系统广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。结合 RAG 技术架构其主要有三部分组成分别是数据索引数据检索和数据生成。对于 MaxKB 来说数据索引的过程基本是直接由 MaxKB 服务后台完成。当用户在 MaxKB 知识库页面上传文档后文档被分割成不同的数据块每个数据块经过向量化处理再存储到向量数据库。接下来是数据检索过程当用户向 MaxKB 应用提问时提问信息也会被 MaxKB 后台进行向量化处理然后从向量数据库中搜索相似度最高的向量数据。最后是数据生成过程 MaxKB 会把向量数据库检索到结果当成提示词丢给 AI 大模型最后在 MaxKB 页面上输出回复信息。更多详细内容可以查看 MaxKB 官方网址MaxKB - 基于大模型和 RAG 的知识库问答系统 - 官网以及 MaxKB 安装包下载地址离线安装 - MaxKB 文档 二、具体操作说明 整个解决方案需要依赖开源三件套并最终通过六步完成总体部署实施最终构建本 AI 知识库。 2.1 第一步准备服务器 首先我们需要准备一台本地 GPU 服务器其中 GPU 主要为 DeepSeek R1 大模型提供资源本操作步骤全部基于腾讯云的 GPU 服务器大家可以根据自己具体情况选择本地服务器。腾讯云的 GPU 服务器在开机时默认会自动安装好 Nvidia GPU 驱动。 当带 GPU 资源的腾讯云服务器准备好之后如果已安装好 GPU 驱动在服务器终端输入 nvidia-smi可以看到以下显示信息。 2.2 第二步安装 1Panel 浏览器访问 https://community.fit2cloud.com/#/products/1panel/downloads下载好 1Panel 离线包安装包并上传到腾讯云服务器的 /tmp 目录执行 tar -xvf 命令解压安装包。 进入安装包的解压目录执行 bash install.sh服务器开始安装 1Panel。 安装成功后日志会显示 1Panel 服务的访问地址信息。 为方便 1Panel 安装其它开源工具时能快速下载 Docker 镜像这里需要配置 Docker 镜像加速器。/etc/docker/daemon.json 配置文件内容如下 {registry-mirrors: [https://docker.1ms.run,https://proxy.1panel.live,https://9f73jm5p.mirror.aliyuncs.com,https://docker.ketches.cn]
} /etc/docker/daemon.json 配置文件修改需要 重启 Docker 服务。 接下来在 1Panel 服务器提前拉取 ollama/ollama:0.5.7 镜像1panel/maxkb:v1.10.0-lts 镜像可以节省在 1Panel 页面上安装 Ollama 和 MaxKB 应用的时间。 需要注意的是Ollama 容器如果想使用服务器的 GPU 资源操作系统需要提前安装 NVIDIA Container Toolkit这是 NVIDIA 容器工具包。以 CentOS 7.9 操作系统为例安装步骤如下1、添加 NVIDIA 的 GPG 密钥和仓库 distribution$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo 2、安装 NVIDIA Container Toolkitsudo yum install -y nvidia-container-toolkit3、重启 Docker 服务sudo systemctl restart docker 如果是其它操作系统也可以参考以上步骤来安装 NVIDIA Container Toolkit。 2.3 第三步安装 Ollama 登录 1Panel 页面在“应用商店”切换到“AI/大模型”点击 Ollama 的“安装”按钮。 打开“端口外部访问”。 勾选”编辑 compose 文件”将以下文本内容粘贴到输入框此文件作用是让 Ollama 容器在启动时可以调用服务器本身的 GPU 资源。 networks:1panel-network:external: true
services:ollama:container_name: ${CONTAINER_NAME}deploy:resources:limits:cpus: ${CPUS}memory: ${MEMORY_LIMIT}reservations:devices:- driver: nvidiacount: allcapabilities: [gpu]image: ollama/ollama:0.5.7labels:createdBy: Appsnetworks:- 1panel-networkports:- ${HOST_IP}:${PANEL_APP_PORT_HTTP}:11434restart: unless-stoppedtty: truevolumes:- ./data:/root/.ollama 点击“确认”后在 1Panel 页面可以看到 Ollama 应用是“已启动”状态。 浏览器访问服务器 IP:11434可以看到 “Ollama is running” 的显示信息。 点击“容器”菜单的“日志”操作在容器日志可以看到 Ollama 容器已正常使用 GPU 资源。 点击“容器”菜单的“终端”操作再点击“连接”进入 Ollama 容器的终端命令行。 执行 ollama pull deepseek-r1:7b 命令此命令的执行时间较长取决于 DeepSeek 参数规模的大小。提前下载 deepseek-r1:7b 大模型的安装包到本地方便后续在 MaxKB 页面可以快速对接deepseek-r1:7b 大模型。 由于 Ollama 官网的网速限制ollama pull 执行过程中deepseek-r1:7b 安装包下载速度会持续降低可以通过 ctrlc 中断命令再次执行 ollama pull deepseek-r1:7b 命令下载速度会慢慢恢复正常。这个操作过程可能会持续多次。 2.4 第四步安装MaxKB 在 1Panel 页面的“应用商店”切换到“AI 大模型”点击 MaxKB 的“安装”按钮。 打开“端口外部访问”CPU 设置为 2 核内存设置为 4096 M。 点击“确认”后可以看到 MaxKB 应用是“已启动”状态。 浏览器访问服务器 IP:8080可以显示 MaxKB 应用的登录页面即可正常使用 MaxKB 服务。默认登录信息是用户名admin密码MaxKB123.. 2.5 第五步对接 DeepSeek -R1 模型 在 MaxKB “模型设置”菜单点击“添加模型”。 模型供应商选择 “Ollama”。 填写“基础信息”包括“模型名称”“模型类型”为“大语言模型”“基础模型”为 “deepseek-r1:7b””API URL ”为 http://腾讯云服务器IP:11434/ 点击“保存”后页面显示 MaxKB 服务已正常对接 deepseek-r1:7b 本地大模型。 2.6 第六步发布本地AI知识库 2.6.1 简单应用发布 首先发布一个简单应用使用某高校教务管理文档为例使用 MaxKB 创建的对话应用完成教务问题的智能对话问答。在 MaxKB “知识库”菜单点击“创建知识库”。 输入“知识库名称”“知识库描述”选择“向量模型”知识库类型选择“通用型”点击“创建”。 在跳转后的页面点击“上传文档”。 点击“选择文件”选中本地某高校教务管理规定的 WORD 文件点击“下一步”。 分段规则默认使用“智能分段”点击“开始导入”。 当“文件状态”显示“成功”时说明本地文档已正常导入到 MaxKB 知识库。 开始手动创建简单应用在 MaxKB “应用”菜单点击“创建应用”。 输入“应用名称”“应用描述”选择“应用类型”为“简单配置”点击“创建”。 设置“AI 模型”为 MaxKB 刚才对接的 deepseek-r1:7b 本地大模型填写“系统角色”。 添加刚才创建的“高校教务管理”知识库填写“开场白”打开“输出思考”点击右上角的“保存并发布”。 在 MaxKB “应用”菜单的概览页面点击“演示”可以测试 MaxKB 创建的智能对话应用。 在对话应用的输入框填写提问信息后可以看到应用回复的内容是比较准确的。 2.6.2 高级编排应用发布 接下来发布一个高级编排应用使用 JumpServer 中文运维手册为例使用 MaxKB 创建的高级应用完成 JumpServer 运维的智能对话问答。当用户提问信息是英文时高级应用可以将英文翻译成中文结合 JumpServer 中文运维手册的数据高级应用再将此中文数据自动翻译成英文最后返回英文回复信息给用户。工作流编排中有两个最重要的 AI 对话节点前一个 AI 对话节点作用是把英文翻译成中文后一个 AI 对话节点作用是把中文翻译成英文。继续创建一个知识库方便给工作流编排中的“AI 对话”节点使用。 输入“知识库名称”“知识库描述”选择“向量模型”知识库类型选择“通用型”点击“创建”。 点击“选择文件”选中本地 JumpServer 运维手册的 WORD 文件点击“下一步”。 当“文件状态”显示“成功”时说明本地文档已正常导入到 MaxKB 知识库。 开始创建高级编排应用在 MaxKB “应用”菜单点击“导入应用”选中本地 mk 文件点击“确认”。 mk 文件导入成功后点击“设置”按钮进入高级编排应用的工作流编辑页面。 在工作流编辑页面修改“问题翻译节点”的“AI 大模型”为本地部署的 DeepSeek-R1:7B “选择知识库”为刚才创建的 JumpServer 运维手册的知识库。 “中文-英文翻译节点”的“AI 大模型”修改为本地部署的 DeepSeek-R1:7B打开“输出思考”的开关先点击右上角的“保存”再点击“发布”。 在 MaxKB “应用”菜单的概览页面点击“演示”可以测试 MaxKB 创建的高级编排应用。 在对话应用的输入框填写提问信息后可以看到应用回复的内容是比较准确的并且可以看到DeepSeek-R1:7B 大模型的思考过程。 如果想查看腾讯云服务器 GPU 的资源使用情况可以在服务器终端执行 nvidia-smi 命令。 文章转载自小白跃升坊 原文链接【保姆级教程】DeepSeek R1RAG基于开源三件套10分钟构建本地AI知识库 - 小白跃升坊 - 博客园 体验地址引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构
