seo网站页面诊断,网站建设中哪些最重要性,昌平县城做网站,惠州附近做商城网站建设哪家好docker 搭建 AI大数据模型 — 使用GPU方式
搭建本地大模型#xff0c;最简单的方法#xff01;效果直逼GPT
服务器GPU系统HP580 G8P40Rocky9.2
安装程序AnythingLLM前端界面Open WebUIChatOllamaollama
一、AnythingLLM 介绍
AnythingLLM 是 Mintplex Labs Inc. 开发的一…docker 搭建 AI大数据模型 — 使用GPU方式
搭建本地大模型最简单的方法效果直逼GPT
服务器GPU系统HP580 G8P40Rocky9.2
安装程序AnythingLLM前端界面Open WebUIChatOllamaollama
一、AnythingLLM 介绍
AnythingLLM 是 Mintplex Labs Inc. 开发的一款开源 ChatGPT 等效工具
用于在安全的环境中与文档等进行聊天专为想要使用现有文档进行智能聊天或构建知识库的任何人而构建。二、前端界面Open WebUI 介绍
Open WebUI 是针对 LLM 的用户友好的 WebUI支持的 LLM 运行程序包括 Ollama
和 OpenAI 兼容的 API。Open WebUI 系统旨在简化客户端您的浏览器和 Ollama API 之间的交互。
此设计的核心是后端反向代理可增强安全性并解决 CORS 问题。三、ChatOllama 介绍
ChatOllama 是一个 Nuxt 3 Ollama Web 应用程序。ChatOllama 允许您管理您的 Ollama 服务器
并与世界各地的 LLM 聊天。从功能上来说ChatOllama 类似于 Open WebU 和 AnythingLLM 的混合体既可以和 AI 聊天
也可以用来构建自己专属的知识库四、ollama 介绍
开源免费Ollama是一个不收费的开源工具。即插即用它提供了预装好的大模型免除了复杂的安装和下载流程。用户友好即便没有任何技术背景Ollama也易于上手和使用。跨平台兼容性Ollama支持各种设备包括PC、Mac甚至是树莓派。运行各种规模的模型保证了出色的扩展性。安装 AnythingLLM
docker pull mintplexlabs/anythingllmexport STORAGE_LOCATION/data/anythingllm \mkdir -p $STORAGE_LOCATION \touch $STORAGE_LOCATION/.env \docker run -d -p 3001:3001 \--cap-add SYS_ADMIN \-v ${STORAGE_LOCATION}:/app/server/storage \-v ${STORAGE_LOCATION}/.env:/app/server/.env \-e STORAGE_DIR/app/server/storage \mintplexlabs/anythingllm安装前端界面Open WebUI
github地址:https://github.com/open-webui/open-webui/pkgs/container/open-webui
CPU版
docker run -d -p 13000:8080 \
--add-hosthost.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
-e OLLAMA_BASE_URLhttp://host.docker.internal:11434 \
--name open-webui \
--restart always dyrnq/open-webui:mainGPU版
docker run -d -p 13000:8080 \
--gpus all --add-hosthost.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always ghcr.io/open-webui/open-webui:cuda直接安装即可
安装ChatOllama
mkdir -p /data/chatollama/{data,db}
cd /data/chatollama
vim docker-compose.yml
把如下配置放到version: 3.1services:chromadb:image: chromadb/chroma:latestcontainer_name: chatollama-dbrestart: alwaysports:- 11431:8000volumes:- ./data:/chroma/.chroma/indexchatollama:image: 0001coder/chatollama:latest#image: chatollama:localcontainer_name: chatollama-webrestart: always#pull_policy: always ports:- 11432:3000volumes:- ./db:/app/sqliteenvironment:- CHROMADB_URLhttp://chromadb:8000- DATABASE_URLfile:/app/sqlite/chatollama.sqlitebuild:context: .dockerfile: Dockerfiledepends_on:- chromadb在目录中执行如下命令
docker-compose up -d如果没有 docker-compose
安装地址
https://github.com/docker/compose/releases
wget https://github.com/docker/compose/releases/download/v2.28.1/docker-compose-linux-x86_64
mv docker-compose-linux-x86_64 /usr/bin/docker-compose
chmod x /usr/bin/docker-compose
docker-compose --version数据库初始化
容器启动后先不忙访问还需要对 SQLite 数据库进行初始化处理# 如果您是第一次启动需要初始化 SQLite 数据库
docker-compose exec chatollama npx prisma migrate dev如果不执行初始化后面在创建知识库时会遇到下面的报错
Invalid prisma.knowledgeBase.count() invocation: The table main.KnowledgeBase
does not exist in the current database. 安装 ollama
docker pull ollama/ollamadocker run --gpus device0 -e OLLAMA_FLASH_ATTENTI0N1 \
--name ollama -p 11434:11434 -d ollama/ollama注释如果有四块GPU --gpus device 指定使用哪一块显卡
从0开始 0是第一块 1是第二块如果报错
docker: Error response from daemon:
could not select device driver with capabilities: [[gpu]].从这里下载镜像文件免费的
上传到服务器的 /etc/yum.repos.d 中
yum -y install nvidia-container-runtime
yum install -y nvidia-docker2然后执行
docker run --gpus device0 -e OLLAMA_FLASH_ATTENTI0N1 \
--name ollama -p 11434:11434 -d ollama/ollama如果有多个GPUdocker run --gpus device1 -e OLLAMA_FLASH_ATTENTI0N1 \
--name ollama_01 -p 11450:11434 -d ollama/ollama将 device 修改一下
将 映射端口改一下
将 名称改一下 即可修改转到后端的端口例如将 11434 修改 11400
cd /var/lib/docker/containers/ 这个地址是docker存储地址
一个容器ID 就是一个文件夹 进去之后找到要修改的容器ID开头的文件夹
config.v2.json ## 配置文件config
hostconfig.json ## 配置文件hostconfig
vim comfig.v2.json
修改ExposedPorts 参数的值为要替换的端口
ExposedPorts:{11400/tcp:vim hostconfig.json
PortBindings 参数的值为要替换的端口
PortBindings:{11400/tcp这两个配置文件这以下需要注意的问题两个配置都需要更改同时更改的内容需要一样更改完成之后需要对docker服务重启而不是docker容器重启一定要先停止容器再修改修改后直接重启docker服务再启动容器
如果其中哪一个环节出错都会出现修改后不生效的问题
最后展示一下 docker 配置
vim /etc/docker/daemon.json
{registry-mirrors: [https://docker.m.daocloud.io,https://docker.nju.edu.cn,https://dockerproxy.com,https://registry.docker-cn.com,https://docker.mirrors.ustc.edu.cn,https://hub-mirror.c.163.com,https://mirror.baidubce.com,https://ccr.ccs.tencentyun.com],ipv6: false,max-concurrent-downloads: 10,log-driver: json-file,log-level: warn,log-opts: {max-size: 10m,max-file: 3},data-root: /data/docker,runtimes: {nvidia: {path: /usr/bin/nvidia-container-runtime,runtimeArgs: []}},default-runtime: nvidia
}systemctl daemon-reload
systemctl restart docker最后展示 最好用的模型
ollama run qwen:32b
ollama run qwen2:latest
ollama run qwen2:7b-instruct-q8_0安装 nvidia-smi
docker run -it --rm --name test --gpus all nvidia/cuda完结撒花 。。。。。。。。。。。。。
open-webui参考文献
https://blog.csdn.net/wbsu2004/article/details/136443260
Chatollama 参考文献
https://blog.csdn.net/wbsu2004/article/details/136930945
