设计师专用网站,平顶山做网站公司,好用的做图网站,网站估值怎么做文章目录 前言纯模型推理启动服务后面干什么?这可咋整啊?愁死了!总结前言
这是咱这个系列的第三个文章了。 毕竟,这是我好几天摸索出的经验,能帮助各位在几个小时内领会,我觉得也算是我的功劳一件了。
所以,一是希望大家耐心看下去,耐心操作下去;而是恳请各位多多关… 文章目录 前言纯模型推理启动服务后面干什么?这可咋整啊?愁死了!总结 前言
这是咱这个系列的第三个文章了。 毕竟,这是我好几天摸索出的经验,能帮助各位在几个小时内领会,我觉得也算是我的功劳一件了。
所以,一是希望大家耐心看下去,耐心操作下去;而是恳请各位多多关注,多多点赞,多多评论,多多转发。
制作不易,多谢大家了。
前序文章:
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(一) 华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(二)
纯模型推理
继续打开官方文档,我们一起踩坑哈。
mindie官方文档
经过我们上次的努力,已经到了“进入容器”这一步。
所以下一步,要做“纯模型推理” ~了吗?
我建议这一步跳过。因为它跟后续关联不大。😂😂😂
启动服务 看到官网的介绍,是不是感觉胜利就在眼前?有手就会?
想多了~
执行:
cd $MIES_INSTALL_PATH不出意外,没有问题。
继续执行:
./bin/mindieservice_daemon报错了
root@xxx:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
Get realpath parsing failed.
Failed to get model config path real file path.
ERR: Failed to init endpoint! Please check the service log or console output.
Killed修改一个文件, 把大模型权重路径改一下就好。
vi conf/config.json改这里(xxx要按你的来改)。 "modelName" : "qwen2_5","modelWeightPath" : "/xxx/Qwen2.5", 小提示,可以先看看文章最后。通义千问2.5的0.5B的模型目前还不支持,最好直接上14B模型。 继续报错:
root@xxx:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
Check path: config.json faile