问鼎电子娱乐下载官方网站,易语言做网站,律师事务所网站模板,专门做网站建设的基础作业——使用LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署InternLM-Chat-7B模型#xff0c;生成300字的小故事 环境准备 除了安装所需依赖之后#xff0c;重要的是进行模型转化#xff08;转换成TurboMind格式#xff09;#xff0c;这里需要注意转化命…基础作业——使用LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署InternLM-Chat-7B模型生成300字的小故事 环境准备 除了安装所需依赖之后重要的是进行模型转化转换成TurboMind格式这里需要注意转化命令的具体用法
# lmdeploy convert 模型类型/模型名 模型权重文件地址
lmdeploy convert internlm-chat-7b /path/to/internlm-chat-7b 运行上述命令后会在当前目录新建workspace文件夹里面存放着转化后的权重文件。以开始以为运行命令参数是 lmdelpoy convert 大模型原始路径 转化后的模型路径实际不是。 TurboMind推理 命令行本地对话 运行命令
# Turbomind Bash Local Chat
lmdeploy chat turbomind ./workspace TurboMind推理 API服务 运行命令
# ApiServerTurbomind api_server AsyncEngine TurboMind
lmdeploy serve api_server ./workspace \--server_name 0.0.0.0 \--server_port 23333 \--instance_num 64 \--tp 1# 新开一个终端
lmdeploy serve api_client http://localhost:23333
注意需要做一下ssh转发。另外直接点击终端中出现的网址没法访问最后我是在浏览器栏中输入的http://localhost:23333 TurboMind 推理 网页Demo演示 注意 同样需要做ssh转发另外输入localhost:6060打开网址不然会出现页面显示不合理的问题。
