仿网站建设教程视频教程,wordpress字段管理,wordpress文章列表格子,wordpress主题科技类开源社区是技术发展的一个重要部分#xff0c;对于AI大模型来说#xff0c;也是如此。
我们在这篇文章中来尝试通过开源工具来构建AI大模型的底座#xff0c;涉及到的技术包括#xff1a;
LangchainOpenAIFlowiseLocalAILlama
使用Langchain构建第一个对话应用
如果你使…开源社区是技术发展的一个重要部分对于AI大模型来说也是如此。
我们在这篇文章中来尝试通过开源工具来构建AI大模型的底座涉及到的技术包括
LangchainOpenAIFlowiseLocalAILlama
使用Langchain构建第一个对话应用
如果你使用过ChatGPT你应该知道它是一个基于大语言模型的应用程序可以与人类进行多轮对话。
为了让大语言模型能够与人类友好的多轮对话我们需要引入两个额外组件
ConversationBufferMemory它帮助LLM记录我们的对话过程。ConversationChain它帮我们管理整个绘画过程通过调用BufferMemory中的对话信息它可以让无状态的LLM了解我们的对话上下文。
我们可以使用下面的代码来通过Langchain实现一个简易版的ChatGPT
from langchain.llms import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemoryimport os
os.environ[OPENAI_API_KEY] ...llm OpenAI(temperature0)
mem ConversationBufferMemory()# Here it is by default set to AI
conversation ConversationChain(llmllm, verboseTrue, memorymem)conversation.predict(inputHi there!)通过Flowise零代码搭建LLM应用平台
Flowise官网https://flowiseai.com/ Flowise is a low-code/no-code drag drop tool with the aim to make it easy for people to visualize and build LLM apps. 我们可以在Windows/Mac/Linux中安装Flowise以Linux为例安装Flowise步骤如下
安装NodeJS安装Docker和Docker compose运行下面的脚本安装和启动Flowise npm install -g flowise npx flowise start
我们可以通过http://{server}:3000 来访问Flowise截图如下
通过Flowise Portal我们可以创建新的Chatflow在打开的flow页面我们可以通过拖拽的方式来构建flow 例如我们上面提到的通过Langchain来构建简易ChatGPT应用创建出来的flow如下截图 我们可以通过页面右上角的对话按钮对我们的flow进行测试
在LLM应用中引入领域知识库
在实际应用中我们可以为模型增加外部记忆在提示词中引入一些领域知识来帮助模型提升回答质量。
这种方式的具体步骤如下
对输入文档进行切片生成语义向量Embedding存入向量数据库作为外部记忆。根据所提的问题检索向量数据库获取文档中的内容片段。把文档片段和所提的问题一并组织成提示词提交给大语言模型让其理解文档内容针对问题生成恰当的答案。
为了实现这个应用我们需要引入以下组件
Docx File Loader负责加载外部输入的文档。Recursive Character Text Splitter用来对文档内容进行断句切片。OpenAI Embeddings负责将断句后的内容切片映射成高维Embedding。In-Memory Vector Store负责将Embedding存入数据库中供LLM作为外部记忆。Conversational Retrieval QA Chain负责根据问题获得外部知识在LLM思考生成答案后返回给用户。
使用Flowise构建上述的应用截图如下 使用LocalAI做可用LLM应用
我们前面做的LLM应用都依赖于OpenAI API会有一些风险我们可以考虑构建本地大模型。
我们可以基于LocalAI开源应用来实现这一点。
下面是搭建过程
$ git clone https://github.com/go-skynet/LocalAI
$ cd LocalAI我们使用一个小模型进行部署。
$ wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j
$ cp -rf prompt-templates/ggml-gpt4all-j.tmpl models/然后我们可以加载models并将其封装为API服务。
$ docker-compose pull
$ docker-compose up -d接下来是获取model列表进行验证。
$ curl http://localhost:8080/v1/models
{object:list,data:[{id:ggml-gpt4all-j,object:model}]}这样我们可以修改Flowise使用本地模型代替OpenAI。
使用Llama2构建LLM应用
我们还可以使用Llama2来构建LLM应用这在应用许可上更加友好。
我们可以下载Llama2模型文件。
$ wget -c https://huggingface.co/TheBloke/Llama-2-7B-chat-GGML/resolve/main/llama-2-7b-chat.ggmlv3.q4_0.bin ./models然后重启LocalAI查看Llama2是否被正常部署。
$ curl -v http://localhost:8080/v1/models
{object:list,data:[{id:llama-2-7b-chat.ggmlv3.q4_0.bin,object:model}]}我们可以返回Flowise flow将模型名字修改为llama-2-7b-chat.ggmlv3.q4_0.bin这样我们就可以使用Llama2来回答我们的问题。
再进一步我们还可以尝试使用AutoGPT或者AgentGPT来构建更加负责的LLM应用帮助我们完成更有挑战性的事情。
