重庆金建站,个人能建设网站吗,网页设计总结论文,北京网站建设公司兴田德润实惠1.部署ragflow
1.1安装配置docker
因为ragflow需要诸如elasticsearch、mysql、redis等一系列三方依赖#xff0c;所以用docker是最简便的方法。
docker安装可参考Linux安装Docker完整教程#xff0c;安装后修改docker配置如下#xff1a;
vim /etc/docker/daemon.json
{…1.部署ragflow
1.1安装配置docker
因为ragflow需要诸如elasticsearch、mysql、redis等一系列三方依赖所以用docker是最简便的方法。
docker安装可参考Linux安装Docker完整教程安装后修改docker配置如下
vim /etc/docker/daemon.json
{builder: {gc: {defaultKeepStorage: 20GB,enabled: true}},experimental: false,features: {buildkit: true},live-restore: true,registry-mirrors: [https://docker.211678.top,https://docker.1panel.live,https://hub.rat.dev,https://docker.m.daocloud.io,https://do.nark.eu.org,https://dockerpull.com,https://dockerproxy.cn,https://docker.awsl9527.cn/]
}
修改后重新加载配置并重启docker服务
systemctl daemon-reload systemctl restart docker 1.2 配置ragflow
git clone https://github.com/infiniflow/ragflow.git
cd ragflow/docker
docker compose -f docker-compose.yml up -d构建docker环境期间有遇到elasticsearch下载失败的情况于是将docker-compose-base.yml中的
image: docker.elastic.co/elasticsearch/elasticsearch:${STACK_VERSION}
改成
image: elasticsearch:${STACK_VERSION}
环境构建完成后确认服务器状态
docker logs --tail 100 -f ragflow-server
出现以下界面提示说明服务器启动成功 ____ ___ ______ ______ __ / __ \ / | / ____// ____// /____ _ __/ /_/ // /| | / / __ / /_ / // __ \| | /| / // _, _// ___ |/ /_/ // __/ / // /_/ /| |/ |/ / /_/ |_|/_/ |_|\____//_/ /_/ \____/ |__/|__/ * Running on all addresses (0.0.0.0)* Running on http://127.0.0.1:9380* Running on http://x.x.x.x:9380INFO:werkzeug:Press CTRLC to quit
此时通过docker ps可以看到运行中的容器 如果要停止服务docker stop $(docker ps -q)
1.3 登陆ragflow页面
在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。只需输入 http://IP_OF_YOUR_MACHINE 即可未改动过配置则无需输入端口默认的 HTTP 服务端口 80如需修改端口修改docker-compose.yml中ports下面80前面端口号
你将在浏览器中看到如下界面第一次要注册一个账号邮箱随便填。 2.部署ollama
2.1下载ollama
# 两种下载方式
# 方法一
curl -fsSL https://ollama.com/install.sh | sh# 方法二
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz2.2 启动
ollama serve
2.3 下载大模型
以qwen2-7b为例其他模型可以去https://ollama.com/library搜索。
方法一ollama run qwen2:7b
模型文件比较大如果上述方法网络不稳定可以使用下面的方法二。
方法二 ①去https://huggingface.co/models?librarygguf下载gguf格式的模型文件根据所需选择一个下载如Qwen2-7B-Instruct.Q4_K_M.gguf ②创建一个构造文件qwen2-7b.modelfile自由命名文件的内容为你下载的模型文件路径如
FROM ./Qwen2-7B-Instruct.Q4_K_M.gguf ③构造
ollama create qwen2-7b -f qwen2-7b.modelfile构造完成后执行ollama list即可看到你构造的模型。如
$ollama list
NAME ID SIZE MODIFIED
qwen2-7b:latest 0151b69b0ffa 4.7 GB 1 weeks ago
测试
ollama run qwen2-7b 你是谁
2.4 补充其他两种调用方式
url调用
curl http://localhost:11434/api/chat -d {model: qwen2-7b,messages: [{ role: user, content: 你是谁 }]
}
python代码调用
import requests
import jsondef send_message_to_ollama(message, port11434):url fhttp://localhost:{port}/api/chatpayload {model: qwen2-7b,messages: [{role: user, content: message}]}response requests.post(url, jsonpayload)if response.status_code 200:response_content for line in response.iter_lines():if line:response_content json.loads(line)[message][content]return response_contentelse:return fError: {response.status_code} - {response.text}if __name__ __main__:user_input why is the sky blue?response send_message_to_ollama(user_input)print(Ollamas response:)print(response)3.在ragflow中配置ollama
3.1 添加LLM
登陆ragflow点击右上角的头像找到模型供应商-选择Ollama-添加模型 在 RagFlow 中配置模型时由于 RagFlow 是通过 Docker 安装的因此需要使用以下地址连接本地部署的 Ollamahttp://host.docker.internal:11434
若要部署embedding模型方式与2.3和3.1一样。
3.2 构建知识库 聊天 后续的使用步骤均在页面上操作比较简单易懂就省略了。
