知名品牌网站有哪些,北京网络营销培训,西安 网站托管,关键词优化师文章目录 前言一、显卡驱动配置1.检测显卡2.安装驱动 二、安装nvidia-docker二、安装Xinference1.拉取镜像2.运行Xinference3.模型部署 三、安装Dify1.下载源代码2.启动 Dify3.访问 Dify 四、Dify构建应用1.配置模型供应商2.聊天助手3.Agent 前言
本文使用的GPU服务器为UCloud… 文章目录 前言一、显卡驱动配置1.检测显卡2.安装驱动 二、安装nvidia-docker二、安装Xinference1.拉取镜像2.运行Xinference3.模型部署 三、安装Dify1.下载源代码2.启动 Dify3.访问 Dify 四、Dify构建应用1.配置模型供应商2.聊天助手3.Agent 前言
本文使用的GPU服务器为UCloud GPU服务器30块使用7天显卡Tesla P40
一、显卡驱动配置
1.检测显卡
首先检查有没有驱动
nvidia-smi没有驱动则安装
检测你的NVIDIA图形卡和推荐的驱动程序的模型。执行命令
ubuntu-drivers devices 输出结果为 从中可以看到这里有一个设备是Tesla P30。对应的驱动是550。不同驱动不同时间有时候会有几个可选的建议选择其中推荐的。
2.安装驱动
你可以选择安装所有推荐的驱动如下命令 sudo ubuntu-drivers autoinstall也可以直接安装最新的
sudo apt install nvidia-driver-550运行nvidia-smi查看驱动信息 执行命令完成后都能看到CUDA版本、显存大小表示安装成功
二、安装nvidia-docker
请先确保安装docker。此处不在展示docker安装 Nvidia Docker 是专门针对使用 Nvidia GPU 的容器应用程序而设计的 Docker 工具。它允许用户在容器中使用 Nvidia GPU 进行加速计算并提供了与 Nvidia GPU 驱动程序和 CUDA 工具包的集成。
地址https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installing-with-apt
配置生产存储库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list可选配置存储库以使用实验性软件包
sed -i -e /experimental/ s/^#//g /etc/apt/sources.list.d/nvidia-container-toolkit.list从存储库更新软件包列表
sudo apt-get update安装 NVIDIA Container Toolkit 软件包
sudo apt-get install -y nvidia-container-toolkit配置 Docker 使用以下命令配置容器运行时nvidia-ctk
sudo nvidia-ctk runtime configure --runtimedocker该nvidia-ctk命令会修改/etc/docker/daemon.json主机上的文件。文件已更新以便 Docker 可以使用 NVIDIA 容器运行时。
重新启动 Docker 守护进程
sudo systemctl restart docker验证 拉取镜像进行验证
docker pull registry.cn-chengdu.aliyuncs.com/rundreams-open/nvidia_tritonserver:21.10-py31启动docker验证进行
docker run -it --gpus all registry.cn-chengdu.aliyuncs.com/rundreams-open/nvidia_tritonserver:21.10-py3 /bin/bash二、安装Xinference
官网https://inference.readthedocs.io/zh-cn/latest/index.html
docker部署官方文档https://inference.readthedocs.io/zh-cn/latest/getting_started/using_docker_image.html
如果不想用docker安装可以查看我另外一篇博客里边记录了Xinference安装及问题https://blog.csdn.net/qq_43548590/article/details/142251544
1.拉取镜像
运行命令拉取镜像
docker pull registry.cn-hangzhou.aliyuncs.com/xprobe_xinference/xinference2.运行Xinference
创建目录
#用于挂载数据
mkdir -p /usr/java/docker/xinference/data
#用于挂载本地模型
mkdir -p /usr/java/docker/xinference/models运行Xinference
将挂载目录换为自己的 1180ac777a10换位自己的镜像ID。使用docker images查看
docker run \
--name xinference \
-e XINFERENCE_MODEL_SRCmodelscope \
-p 9997:9997 \
-v /usr/java/docker/xinference/data/.xinference:/root/.xinference \
-v /usr/java/docker/xinference/data/.cache/huggingface:/root/.cache/huggingface \
-v /usr/java/docker/xinference/data/.cache/modelscope:/root/.cache/modelscope \
-v /usr/java/docker/xinference/models:/data/models \
--gpus all 1180ac777a10 xinference-local -H 0.0.0.0 --log-level debug浏览器访问xinference地址http://IP:9997/
3.模型部署
1.从xinference中下载模型部署 选择我们需要部署的模型比如我这里选择Qwen2进行部署。填写相应的参数进行一键部署。第一次部署会下载模型可以选择国内通道modelscope下载速度较快。 2.添加本地模型部署 点击Register Model 填写相应的信息 如果本地上传到服务器模型使用unzip解压大文件报错需要设置环境变量
UNZIP_DISABLE_ZIPBOMB_DETECTIONTRUE
export UNZIP_DISABLE_ZIPBOMB_DETECTION三、安装Dify
官网https://dify.ai/zh Github开源地址https://github.com/langgenius/dify
1.下载源代码
克隆 Dify 源代码至本地环境。
git clone https://github.com/langgenius/dify.git2.启动 Dify 进入 Dify 源代码的 Docker 目录 cd dify/docker复制环境配置文件 cp .env.example .env启动 Docker 容器 根据你系统上的 Docker Compose 版本选择合适的命令来启动容器。你可以通过 $ docker compose version 命令检查版本详细说明请参考 Docker 官方文档 如果版本是 Docker Compose V2使用以下命令 docker compose up -d如果版本是 Docker Compose V1使用以下命令 docker-compose up -d检查是否所有容器都正常运行
docker compose ps在这个输出中你应该可以看到包括 3 个业务服务 api / worker / web以及 6 个基础组件 weaviate / db / redis / nginx / ssrf_proxy / sandbox 。
3.访问 Dify
你可以先前往管理员初始化页面设置设置管理员账户 http://your_server_ip/install
Dify 主页面 http://your_server_ip
四、Dify构建应用
Dify 中提供了四种应用类型
聊天助手基于 LLM 构建对话式交互的助手文本生成构建面向文本生成类任务的助手例如撰写故事、文本分类、翻译等Agent能够分解任务、推理思考、调用工具的对话式智能助手工作流基于流程编排的方式定义更加灵活的 LLM 工作流
文本生成与聊天助手的区别见下表
文本生成聊天助手WebApp 界面表单结果式聊天式WebAPI 端点completion-messageschat-messages交互方式表单结果式多轮对话流式结果返回支持支持上下文保存当次持续用户输入表单支持支持数据集与插件支持支持AI 开场白不支持支持情景举例翻译、判断、索引聊天
1.配置模型供应商
点击头像 设置 模型供应商
我这里已经配置了Xinference和Ollama 在 设置 模型供应商 Xinference 中填入
模型名称glm4服务器 URLhttp://:9997 替换成您的机器 IP 地址模型UIDglm4
“保存” 后即可在应用中使用该模型。
2.聊天助手
对话型应用采用一问一答模式与用户持续对话
对话型应用可以用在客户服务、在线教育、医疗保健、金融服务等领域。这些应用可以帮助组织提高工作效率、减少人工成本和提供更好的用户体验。
在首页点击 “创建应用” 按钮创建应用。填上应用名称应用类型选择聊天助手。 创建应用后会自动跳转到应用概览页。点击左侧菜单 编排 来编排应用。
我这里编排了一个面试官提示词并且添加了开场白。
3.Agent
智能助手Agent Assistant利用大语言模型的推理能力能够自主对复杂的人类任务进行目标规划、任务拆解、工具调用、过程迭代并在没有人类干预的情况下完成任务。
你可以在 “提示词” 中编写智能助手的指令为了能够达到更优的预期效果你可以在指令中明确它的任务目标、工作流程、资源和限制等。
这里我使用Tavily进行搜索https://tavily.com/
