vs2010做网站登陆界面,wordpress cnzz 插件,临沂兰山网站建设,wordpress下载网站模板导读
本文将详细介绍如何通过 PingCAP 开源项目 AutoFlow 实现快速搭建基于 TiDB 的本地知识库问答机器人。如果提前准备好 Docker、TiDB 环境#xff0c;整个搭建过程估计在 10 分钟左右即可完成#xff0c;无须开发任何代码。 文中使用一篇 TiDB 文档作为本地数据源作为示…导读
本文将详细介绍如何通过 PingCAP 开源项目 AutoFlow 实现快速搭建基于 TiDB 的本地知识库问答机器人。如果提前准备好 Docker、TiDB 环境整个搭建过程估计在 10 分钟左右即可完成无须开发任何代码。 文中使用一篇 TiDB 文档作为本地数据源作为示例在实际情况中您可以基于自己的企业环境用同样的方法快速构造企业内部知识库问答机器人。
背景知识
AutoFlow 是 PingCAP 开源的一个基于 Graph RAG、使用 TiDB 向量存储和 LlamaIndex 构建的对话式知识库聊天助手。https://tidb.ai 也是 PingCAP 基于 AutoFlow 实现的一个 TiDB AI 智能问答系统我们可以向 tidb.ai 咨询任何有关 TiDB 的问题比如 “TiDB 对比 MySQL 有什么优势” 以下是 tidb.ai 的回答从结果来说tidb.ai 非常准确的理解了用户的问题并给出了相应的回答。它首先给出 TiDB 优势及 MySQL 限制的详细说明然后给出一个结论性的总结最后给出更多的参考链接。 基于 TiDB 实现问答系统的基本流程
相信通过前面的一些介绍大家对 tidb.ai 的能力已经有了一个清楚的认识。TiDB 的使用人员很幸运因为有了 tidb.ai几乎任何有关 TiDB 的问题都可以在这个统一的平台得到相应的解答一方面节省了自己人工去查找 TiDB 官方文档或 AskTUG 论坛的时间另一方面 tidb.ai 拥有比普通大模型更专业的 TiDB 知识问答。
在技术实现上tidb.ai 背后主要使用到 TiDB 的 Graph RAG 技术、TiDB 向量检索功能以及 LLM 大模型的使用。实际上在 AutoFlow 出来之前我们也可以通过 python 编程开发的方式基于 LLMRAGTiDB 实现一套问答系统。主要的开发流程如下
准备私域文本数据对文本进行切分通过 Embedding 将文本转为向量数据把向量数据保存到 TiDB获得用户输入问题并进行向量化然后从 TiDB 中进行相似度搜索将上述片段和历史问答作为上下文与用户问题一起传入大模型最后输出结果 基于 AutoFlow 搭建本地知识库问答系统
基于 python 开发这样一套问答系统一般要结合大模型常用开发框架如 LangchainLangchain 集成了多种文件格式或 URL 网址的导入功能。如果希望给这个系统增加 Web 界面的能力还需要引入前端可视化工具如 Gradio 或 Steamlit。但是如果使用开源的 AutoFlow即使对于没有任何开发背景的同学来说搭建一套这样的问答系统也是一件轻而易举的事情以下我们具体演示整个搭建的过程。
环境准备
在环境准备阶段我们主要需要准备以下几项内容
Docker 环境
需要确保 AutoFlow 运行的机器上具备 Docker 运行环境因为 AutoFlow 项目中的应用是基于 docker 容器环境运行的。有关 Docker 运行环境的准备工作本文不作说明安装完成后可使用 docker run hello-world 命令验证安装成功。
AutoFlow 项目
AutoFlow 是一个开源的 github 项目地址为 https://github.com/pingcap/autoflow。下载之后需要在 AutoFlow 根目录下配置相关信息包括 TiDB 数据库连接信息、EMBEDDING 维度等。
cat .env EOF
ENVIRONMENTproduction# 可使用 python3 -c import secrets; print(secrets.token_urlsafe(32)) 生成密钥
SECRET_KEYsome_secret_key_that_is_at_least_32_characters_longTIDB_HOSTip
TIDB_PORTport
TIDB_USERusername
TIDB_PASSWORDpassword
TIDB_DATABASEtidbai_test
# 非 TiDB serverless 环境需要将 TIDB_SSL 设置为 false
TIDB_SSLfalseEMBEDDING_DIMS1024
EMBEDDING_MAX_TOKENS4096
EOF带向量功能的 TiDB 环境
TiDB 最新发布的 v8.4 版本支持向量搜索功能实验特性。向量搜索是一种基于数据语义的搜索方法可以提供更相关的搜索结果。有关 TiDB 向量搜索功能参考 https://docs.pingcap.com/zh/tidb/v8.4/vector-search-overview
需要确保 TiDB 8.4 集群正常运行且已经创建有 AutoFlow 配置中指定的 TIDB_DATABASE 数据库必须为空库。
mysql select version();
--------------------
| version() |
--------------------
| 8.0.11-TiDB-v8.4.0 |
--------------------
1 row in set (0.00 sec)mysql create database tidbai_test;
Query OK, 0 rows affected (0.52 sec)智谱 AI API Key
注册并登录智谱 AI 平台 https://bigmodel.cn/ 在个人中心-API kys 添加新的 API Key 并复制保存。注意如果免费创建的用户已经超过一定的时效期限API Key 将是无效的。 数据初始化
运行数据迁移以创建所需的表并创建初始管理员用户
cd autoflow
docker compose -f docker-compose-cn.yml run backend /bin/sh -c alembic upgrade head
docker compose -f docker-compose-cn.yml run backend /bin/sh -c python bootstrap.py当看到如上输出结果时说明初始化这一步已经成功注意保存好红色字体中的密码以备后面使用。这时我们去 TiDB 数据库中查看发现 tidbai_test 这个库中已经自动创建出了相应的表并有一些初始化数据符合预期。 启动知识库应用
运行以下 docker compose 命令启动知识库应用程序
cd autoflow
docker compose -f docker-compose-cn.yml up -d --force-recreate网页访问和配置知识库应用
应用启动成功后我们可以直接通过默认的 3000 端口访问相应的界面进行下一步操作了。使用默认管理员用户 adminexample.com 以及上述应用启动打印的密码进行登录。 登录成功后会弹出如下图所示的提示框后面我们只要按照提示框一步步进行相应配置即可。
注意3000 这个端口是 TiDB 数据库默认的 Grafana 端口号如果把 AutoFlow 部署在和 Grafana 相同的节点需要考虑端口冲突问题。 配置 LLM
此步骤需要配置的内容包括
模型名称模型提供商选择 OpenAI Like模型型号如 glm-4-0520智谱AI API KEY见环境准备阶段高级选项- api_base 路径需与 LLM 对应是否默认 LLM是或否 配置完成后点击 Create LLM 创建 LLM 关联。需要注意的是这里提供的 API Key 必须是一个有效的 Key如果创建 API Key 的账户本身就过时创建 LLM 时可能就会遇到以下报错。如果只是为了测试用途可以重新注册一个账号并取得一个新的 API Key 试用。
Failed to create LLM
Error code: 429 - {error: {code: 1113, message: 您的账户已欠费请充值后重试。}}配置 Embedding 模型
此步骤需要配置的内容包括
embedding名称模型提供商选择 OpenAI Like模型型号如 embedding-2智谱AI API KEY与上述相同 配置完成后点击 Create Embedding Model 创建 Embedding 模型。需要注意的是这里的 Model 必须要与环境变量中的 EMBEDDING_DIMS 对应否则可能会出现以下类似报错。
Failed to create Embedding Model
Currently we only support 1536 dims embedding, got 1024 dims.配置数据来源
这里的数据来源可以是本地文件也可以是具体的网址。这里我们配置具体有关 TiDB 和 MySQL 兼容性的网页 https://docs.pingcap.com/zh/tidb/stable/mysql-compatibility 为数据来源。具体配置内容包括
数据源名称数据源描述网页 URL可以配置一个或多个是否 build 知识图谱 Index是或否 配置完成后点击 Create Datasource 创建数据来源。当然如果有本地文件也可以直接导入本地文件并创建数据源。另外如果不是在初始化时配置数据源我们也可以在后续的过程中手动添加更多的数据源下图显示将一个本地的文档导入为数据源。 查看索引创建进度
上述步骤配置完成后应用将基于配置的数据源进行向量化并创建索引这需要一定的时间具体耗时跟数据源的多少以及机器的配置都有关。通过页面左侧菜单栏- Index Progress 查看索引创建进度绿色代表索引创建成功蓝色代表正在创建红色代表创建失败。下图表示 Vector Index 已经创建成功Knowlege Graph Index 正在创建中。当两个图表都变成绿色时代表全部创建成功。 体验智能问答
至此我们已经完成了配置数据源并完成了向量化存储及向量索引的创建。在网页的左侧菜单栏中我们可以点击 Datasources 查看当前数据源 LLMs 查看当前 LLMEmbedding Model 查看 Embedding 模型。 我们现在也可以开始向自己搭建的 tidb.ai 咨询有关 TiDB 的问题了比如提问 “TiFlash 高性能列式分析引擎”。从结果可以看出本地知识库问答机器人引用导入的文档并作出了相似回答而假如我们删除数据源之后再提出相同的问题它的回答是 Empty Response。下图对比充分说明了 TiDB 向量搜索在基础 LLM 大模型的增强能力。
