投标网站建设服务承诺,网站安全在线检测,网页的建设,公司网站是否有必要销售产品参考本地部署FastGPT使用在线大语言模型
1 rockylinx
1 ollama安装 在rockylinux中安装的#xff0c;ollama由1.5G#xff0c;还是比较大#xff0c;所有采用在windows下下载#xff0c;然后安装的方式#xff0c;linux安装
tar -C /usr -xzf ollama-linux-amd64.tgz
#…参考本地部署FastGPT使用在线大语言模型
1 rockylinx
1 ollama安装 在rockylinux中安装的ollama由1.5G还是比较大所有采用在windows下下载然后安装的方式linux安装
tar -C /usr -xzf ollama-linux-amd64.tgz
# 命令窗口启动
ollama serve
# 新开一个窗口
# 下载千问大模型
ollama run qwen:7b
# 下载词向量大模型
ollama pull shaw/dmeta-embedding-zh dmeta-embedding-zh下载哈后直接输入查看运行情况
curl http://localhost:11434/api/embeddings -d {model: shaw/dmeta-embedding-zh,prompt: 天空是灰色的
} 出现下面的结果标识运行成功 后台启动
cat /etc/systemd/system/ollama.service EOF
[Unit]
DescriptionOllama Service
Afternetwork-online.target[Service]
Userroot
ExecStart/usr/bin/ollama serve
Restartalways
RestartSec3
EnvironmentOLLAMA_HOST0.0.0.0[Install]
WantedBydefault.target
EOFsystemctl daemon-reload
systemctl enable ollama
systemctl start ollama
2 安装fastGpt
搭建企业级知识库问答系统本地、免费、私有化、离线、零成本根据这个地址提供docker-compose文件安装
因为fastgpt依赖mysql、postgre、mongodb直接执行不成功。
[rootbw5 ~]# cat /etc/docker/daemon.json
{registry-mirrors: [https://你自己的.mirror.aliyuncs.com,https://docker.m.daocloud.io,https://dockerhub.timeweb.cloud
],
insecure-registries:[10.8.15.225, 10.101.10.200,10.101.12.200]
}于是换了一种方式在docker-compose.yml中镜像的地址都改成自己私有harbor仓库从自己的私有库下载就没有安装的烦恼。
# 将镜像一个个pull
docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1
# 打标签上传到自己私有的harbor中
docker tag registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.1 10.101.12.200/gpt/fastgpt:v4.8.1
docker push 10.101.12.200/gpt/fastgpt:v4.8.1 启动后fastgpt的默认密码为1234默认端口3000 在fastgpt中创建本地知识库索引模型dmeta-embedding-zh文件处理模型采用qwen:7b 手工录入问题出现问题因为oneapi中渠道模型必须与shaw/dmeta-embedding-zh保证一致。从下图检测语义检索成功 接下来创建一个带知识库的应用保存的时候提示下面的错误。 点击关联知识库中参数查看问题优化哪里的模型不正确需要再调整一下 3 openapi
oneapi的默认密码是123456默认端口为3001两者默认用户名均是root 新建渠道使用qwen:7b模型 点击测试提示下面的错误这个与视频中说的错误不一致。 通过fastgpt验证也是同样的问题。 因为前面ollama是本地root用户安装通过窗口启动于是改写了一些脚本,再启动脚本中执行EnvironmentOLLAMA_HOST0.0.0.0就可以了。 成功后调一下黑悟空发现qwen:7b模型他并不知道。 2 windows
2.1 docker 安装docker desktop 待完善
