西安网络技术有限公司网站,登录邮箱wordpress,泰安网上申请货车通行证,资源网站推荐2024年12月26日#xff0c;DeepSeek-V3横空出世#xff0c;以其卓越性能备受瞩目。该模型发布即支持昇腾#xff0c;用户可在昇腾硬件和MindIE推理引擎上实现高效推理#xff0c;但在实际操作中#xff0c;部署流程与常见问题困扰着不少开发者。本文将为你详细阐述昇腾 De…2024年12月26日DeepSeek-V3横空出世以其卓越性能备受瞩目。该模型发布即支持昇腾用户可在昇腾硬件和MindIE推理引擎上实现高效推理但在实际操作中部署流程与常见问题困扰着不少开发者。本文将为你详细阐述昇腾 DeepSeek 模型部署的优秀实践。
01 硬件要求及组网
推荐参考配置如下部署DeepSeek-V3/R1量化模型至少需要多节点Atlas 800I A28*64G服务器。本方案以DeepSeek-R1为主进行介绍DeepSeek-V3与R1的模型结构和参数量一致部署方式与R1相同。 02 运行环境准备
推荐使用镜像部署
1、镜像部署
昇腾官方在Ascend hub提供环境示例镜像含推理部署配套软件以及模型运行脚本用户可参考构建运行环境镜像进行部署。
镜像部署及启动参照ModelZoo指南中“加载镜像”章节该指南中还包含“容器启动”等指引: https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1#加载镜像
镜像申请/下载含于上述指南昇腾镜像仓库详情 2、裸机部署
根据MindIE安装指南安装软件包和运行依赖软件。
安装指南
根据指南安装全部软件包和环境安装方案-MindIE安装指南-环境准备-MindIE1.0.0开发文档-昇腾社区
模型获取魔乐社区
03 权重文件准备
BF16权重下载 魔乐社区
INT8量化后权重下载 魔乐社区
如已下载BF16模型也可采用以下步骤进行模型量化权重BF16-INT8转换预计7~8小时。 Step1安装ModelSlim
git clone https://gitee.com/ascend/msit.git
cd msit/msmodelslim
bash install.sh
Step2: 运行量化命令
cd msit/msmodelslim/example/DeepSeek/
python3 quant_deepseek_w8a8.py \--model_path {浮点权重路径} \--save_path {W8A8量化权重路径}更多详细量化教程请参考 DeepSeek量化文档 https://gitee.com/ascend/msit/tree/br_noncom_MindStudio_8.0.0_POC_20251231/msmodelslim/example/DeepSeek
Msmodelslim 代码仓msit: 统一推理工具链入口提供客户一体化开发工具支持一站式调试调优 - Gitee.com
04 运行前检查
服务器检查https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1#前置准备
软件版本配套检查含HDK、CANN、PTA、MindIE、MindStudio
1、检查组网链接状态
检查物理链接for i in {0..7}; do hccn_tool -i $i -lldp -g | grep Ifname; done检查链接情况for i in {0..7}; do hccn_tool -i $i -link -g ; done检查网络健康情况for i in {0..7}; do hccn_tool -i $i -net_health -g ; done查看侦测ip的配置是否正确for i in {0..7}; do hccn_tool -i $i -netdetect -g ; done查看网关是否配置正确for i in {0..7}; do hccn_tool -i $i -gateway -g ; done检查NPU底层tls校验行为一致性建议全0for i in {0..7}; do hccn_tool -i $i -tls -g ; done | grep switch # NPU底层tls校验行为置0操作for i in {0..7};do hccn_tool -i $i -tls -s enable 0;done
2、根据组网设置准备rank_table_file.json
使用多节点推理时需要将包含设备ip服务器ip等信息的json文件地址传递给底层通信算子。参考如下格式配置rank_table_file.json: 05 模型部署与配置
独立模型魔乐社区
服务化部署
1、运行指南 https://modelers.cn/models/MindIE/DeepSeek-R1/blob/main/README.md服务化测试
2、服务启动 启动服务-快速开始-MindIE Service开发指南-服务化集成部署-MindIE1.0.0开发文档-昇腾社区
3、接口指引 说明-服务化接口-MindIE Service开发指南-服务化集成部署-MindIE1.0.0开发文档-昇腾社区
06 模型运行
1、纯模型测试
模型脚本已预制在镜像中参照以下链接即可拉起精度测试及模型测试魔乐社区 纯模型测试部分 2、服务化测试
1、运行指南 https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1#服务化测试
2、服务启动 启动服务-快速开始-MindIE Service开发指南-服务化集成部署-MindIE1.0.0开发文档-昇腾社区
3、常用接口指引 说明-服务化接口-MindIE Service开发指南-服务化集成部署-MindIE1.0.0开发文档-昇腾社区
