蚌埠网站建设电话,建设金融网站哪家好,wordpress专用主机,无代码搭建平台MaxKbOllama#xff0c;基于RAG方案构专属私有知识库 关于RAG工作原理实现方案 一、什么是MaxKb#xff1f;二、MaxKb的核心功能三、MaxKb的安装与使用四、MaxKb的适用场景五、安装方案、 docker版Docker Desktop安装配置MaxKb安装和配置 总结和问题 MaxKB 是一款基于 LLM 大… MaxKbOllama基于RAG方案构专属私有知识库 关于RAG工作原理实现方案 一、什么是MaxKb二、MaxKb的核心功能三、MaxKb的安装与使用四、MaxKb的适用场景五、安装方案、 docker版Docker Desktop安装配置MaxKb安装和配置 总结和问题 MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。MaxKB Max Knowledge Base旨在成为企业的最强大脑。 开箱即用支持直接上传文档、自动爬取在线文档支持文本自动拆分、向量化智能问答交互体验好 无缝嵌入支持零编码快速嵌入到第三方业务系统 多模型支持支持对接主流的大模型包括 Ollama 本地私有大模型如 Llama 2、Llama 3、qwen、通义千问、OpenAI、Azure OpenAI、Kimi、智谱 AI、讯飞星火和百度千帆大模型等。
关于RAG
简介 检索增强生成Retrieval-Augmented GenerationRAG是一种结合了信息检索和语言模型的技术它通过从大规模的知识库中检索相关信息并利用这些信息来指导语言模型生成更准确和深入的答案。这种方法在2020年由Meta AI研究人员提出旨在解决大型语言模型LLM在信息滞后、模型幻觉、私有数据匮乏和内容不可追溯等问题。
在日常工作和学习中我们时常会面对大量的PDF、Word、Excel等文档需要从中查找特定的信息或内容。然而传统的CtrlF搜索方式在面对海量文档或复杂格式时往往效率低下令人头疼。如果使用MaxKb 工具它将彻底改变你处理文档的方式。
工作原理 RAG 的主要流程主要包含以下 2 个阶段
数据准备阶段 管理员将内部私有数据向量化后入库的过程向量化是一个将文本数据转化为向量矩阵的过程该过程会直接影响到后续检索的效果入库即将向量数据构建索引并存储到向量数据库的过程。用户应用阶段 根据用户的 Prompt 提示词通过检索召回与 Prompt 提示词相关联的知识并融入到原 Prompt 提示词中作为大模型的输入 Prompt 提示词通用大模型因此生成相应的输出。
从上面 RAG 方案我们可以看出通过与通用大模型相结合我们可搭建团队私有的内部本地知识库并能有效的解决通用大模型存在的知识局限性、幻觉问题和隐私数据安全等问题。
实现方案
目前市面上已经有多个开源 RAG 框架这里将选择MaxKb框架16.8K ☆ https://github.com/1Panel-dev/MaxKB与大家一起来部署我们自己或者团队内部的本地知识库。整个部署过程将涉及以下几个方面
环境准备 MaxKb框架推荐使用 Docker 部署因此我们需要提前把 Docker 安装和配置好大模型准备 老牛同学继续使用Qwen2-7B大模型大家可以根据自己实际情况选择无特殊要求RAG 部署和使用 即 MaxKb安装和配置并最终使用我们大家的 RAG 系统
一、什么是MaxKb
官网https://github.com/1Panel-dev/MaxKB MaxKb是一个AI聊天系统它允许用户构建自己的私人ChatGPT。与依赖云服务的AI工具不同MaxKb支持本地开源和商用闭源的大语言模型LLM用户可以根据自己的需求和预算选择合适的模型。
二、MaxKb的核心功能
文档智能聊天只需导入文档MaxKb就能自动进行上下文分析和内容整理用户可以通过对话的方式快速提取关键信息。自定义AI代理用户可以为每个工作区创建不同的AI代理实现高度的定制化。例如可以创建一个专门处理Python代码的AI代理另一个则专门用于处理PDF文档。多模式支持无论是免费的开源模型还是付费的商用模型MaxKb都能兼容为用户提供极大的灵活性。广泛的文档支持从PDF、TXT到Word、Excel几乎所有常见的文档格式都支持。嵌入式聊天小部件用户可以将MaxKb嵌入到自己的网站中为网站用户提供自动化的智能客服服务。团队协作支持通过Docker容器多个用户可以同时使用MaxKb非常适合团队开发或公司内部使用。丰富的API接口开发者可以轻松集成MaxKb到现有的应用中实现更多定制化功能。
三、MaxKb的安装与使用
安装AnythingLLM非常简单官方文档详细明了按照步骤操作即可。对于开发者来说一条命令就能完成Docker部署几分钟就能跑起来一个完整的私人ChatGPT系统。对于不太懂技术的小伙伴来说也有详细的教程帮助上手。
使用上用户只需通过拖拽的方式将文档放入工作区然后就可以开始与文档“聊天”了。这个过程非常自然就像与人对话一样用户可以直接让AI分析提取重要内容无需再翻阅大量文档或使用关键词搜索。
四、MaxKb的适用场景 个人学习助手对于学生或知识工作者来说MaxKb是强大的学习助手可以帮助他们快速获取书籍、论文等学习资料中的信息。 企业文档管理企业内部的文档种类繁多通过MaxKb的工作区机制企业可以分类管理文档提升整体工作效率。 开发者定制应用开发者可以利用MaxKb的API集成到现有系统中打造符合自己需求的AI应用。 网站智能客服对于需要客服支持的网站来说可以将MaxKb嵌入网站中为用户提供快速解答。
五、安装
采用 MaxKb与Ollama 结合使用的方式快速搭建本地AI
接下来仅讲解一下如何安装 AnythiMaxKbgLLM 以及配置
安装并配置MaxKb
方案、 docker版
环境准备 Windows 打开虚拟化功能Hyper-V 和 WSL
友情提示 这里用的是 Windows 操作系统因此下面是 Windows 的配置方式。
安装 Docker 需要用到虚拟化因此需要 Windows 系统打开Hyper-V和WSL 子系统功能。如果是 Windows 11 家庭版默认并没有安装Hyper-V功能可以通过以下方式进行安装 【第一步家庭版安装 Hyper-V 依赖包】
新建一个 txt 临时文本并复制以下代码并保存之后把该临时文件重命名为Hyper-V.bat右键以管理员方式运行Hyper-V.bat本代码自动安装相关包完成之后输入Y重启电脑后即可
pushd %~dp0
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum hyper-v.txt
for /f %%i in (findstr /i . hyper-v.txt 2^nul) do dism /online /norestart /add-package:%SystemRoot%\servicing\Packages\%%i
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL【第二步开启虚拟化功能】
首先打开 Windows 功能即控制面板 然后勾选以下 3 个选项Hyper-V、适用于 Linux 的 Windows 子系统和虚拟机平台打开虚拟化功能 打开虚拟化功能 点击确定之后重启电脑即可
Docker Desktop安装配置
这里之前文章有介绍可参考这里不再赘述
MaxKb安装和配置
方式一 本地docker部署 接下来开始安装和部署MaxKb框架包含以下 3 步
docker run -d --namemaxkb --restartalways -p 3002:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb# username: admin
# pass: MaxKB123..启动MaxKb镜像 Windows 系统 AnythingLLM 镜像挂载和启动命令因为命令有多行需要通过PowerShell执行 拉取镜像完成后在docker中检查如下 为避免电脑重启后创建的知识库没保存 删除自动创建部署的maxkb如下操作 关闭后操作页面如下 找到PGDATA 路径 然后返回点击删除 从images中再次创建容器 第一个端口5432 应该是postgesql的端口 可以不配置 /var/lib/postgresql/data
启动完成通过浏览器打开AnythingLLM界面http://localhost:3002 登录后 创建知识库 账号密码见上文 方案二1Panel 应用商店 你也可以通过 1Panel 应用商店 快速部署 MaxKB Ollama Llama 230 分钟内即可上线基于本地大模型的知识库问答系统并嵌入到第三方业务系统中。
配置 MaxKb 配置大语言模型 若保存时提示api域名无效 改为 http://host.docker.internal:11434
最后一步 创建应用
五、MaxKb 导入数据和使用 上一步配置完成之后无需任何其他配置就可以和大模型对话聊天了和通过其他客户端与大模型对话没有区别。接下来我们需要导入我们内部私有数据并进行验证。
5.1 导入内部数据 我们在电脑本地新建一个 txt 文件文件名为为什么个人、团队等均有必要部署私有化的RAG知识库系统.txt文件内容就是本文的开头内容
自ChatGPT发布以来大型语言模型Large Language ModelLLM大模型得到了飞速发展它在解决复杂任务、增强自然语言理解和生成类人文本等方面的能力让人惊叹几乎各行各业均可从中获益。然而在一些垂直领域这些开源或闭源的通用的基础大模型也暴露了一些问题主要有以下3个方面1. **知识的局限性** 大模型的知识源于训练数据目前主流大模型如通义千问、文心一言等的训练数据基本来源于网络公开的数据。因此非公开的、离线的、实时的数据大模型是无法获取到如团队内部实时业务数据、私有的文档资料等这些数据相关的知识也就无从具备。
2. **幻觉问题** 大模型生成人类文本底层原理是基于概率目前还无法证明大模型有意识所以它有时候会**一本正经地胡说八道**特别是在不具备某方面的知识情况下。当我们也因缺乏这方面知识而咨询大模型时大模型的幻觉问题会各我们造成很多困扰因为我们也无法区分其输出的正确性。
3. **数据的安全性** 对于个人、创新团队、企业来说**数据安全**至关重要老牛同学相信没有谁会愿意承担数据泄露的风险把自己内部私有数据上传到第三方平台进行模型训练。这是一个矛盾我们既要借助通用大模型能力又要保障数据的安全性为了解决以上3个大模型通用问题**检索增强生成**Retrieval-Augmented Generation**RAG**方案就应运而生了
首先点击RAG-ClassmateWX工作空间右边的上传图标准备上传本 txt 文件
准备上传文件然后点击 txt 文件并上传并点击Move to workspace导入到工作空间
5.2 内部数据使用和验证
总结和问题
和之前的大模型部署和应用过程相比基于 MaxKb 的 RAG 实现整个部署过程比较繁琐包括环境准备、Docker 安装和配置、MaxKb 配置等。然而MaxKb 的使用过程却相对比较简单只需要上传数据文件MaxKb 框架屏蔽了中间的数据提取分割、向量化处理、向量索引和入库、检索召回和重组 Prompt 提示词等过程。
同时通过构建本地知识库做了一个简单的测试验证测试结果表明在使用 RAG 的情况下大模型的回答结果更加有效、更符合我们期望同时具备了一定的创造性
注意事项
资源要求运行大型语言模型需要一定的内存或显存。请确保您的计算机满足Ollama和所选模型的资源要求。
网络问题在下载模型时可能会遇到网络问题导致下载速度缓慢或失败。此时可以尝试重启电脑或重启Ollama服务来解决问题。
模型选择根据自己的需求和预算选择合适的模型。免费的开源模型可能适合个人学习或小型项目而付费的商用模型则可能提供更高的性能和准确性。
通过以上步骤您可以将MaxKb 与Ollama成功结合并利用这一强大的组合进行智能对话和文档处理。无论是个人学习还是企业团队协作这一解决方案都将为您提供极大的便利和效率提升。
