跑腿网站建设,国家企业信息公示系统官网(全国),网站建设字体,广州昨天发生重大新闻文章目录 前言一、RWKV-Runner是什么#xff1f;RWKV-Runner是一个大语言模型的启动平台RWKV-Runner官方功能介绍 二、使用步骤1. 下载文件 总结 前言
提示#xff1a;这里可以添加本文要记录的大概内容#xff1a;
ChatGPT的横空出世#xff0c;打开了AI的大门#xff… 文章目录 前言一、RWKV-Runner是什么RWKV-Runner是一个大语言模型的启动平台RWKV-Runner官方功能介绍 二、使用步骤1. 下载文件 总结 前言
提示这里可以添加本文要记录的大概内容
ChatGPT的横空出世打开了AI的大门但是国内访问ChatGPT障碍颇多那么有没有适合我们国人的大模型呢答案是肯定的。
在国人的聪明和勤劳下这些都不是事儿。
今天我们就介绍一款国人开发的AI平台关键是可以部署在本地还可以远程访问。最关键的是免费
对于文章、小说的宝宝们简直是福音 一、RWKV-Runner是什么
RWKV-Runner是一个大语言模型的启动平台
它会全自动为你处理一切你只需要一个仅仅几MB的可执行程序。作者充分考虑了使用者的想法以傻瓜式的方式即可启动该平台。
Gitee 地址https://gitee.com/josc146/RWKV-Runner GitHub地址https://github.com/josStorer/RWKV-Runner
RWKV-Runner官方功能介绍
RWKV模型管理一键启动 前后端分离如果你不想使用客户端也允许单独部署前端服务或后端推理服务或具有WebUI的后端推理服务。 简明服务部署示例 | 服务器部署示例 与OpenAI API兼容一切ChatGPT客户端都是RWKV客户端。启动模型后打开 http://127.0.0.1:8000/docs 查看API文档 全自动依赖安装你只需要一个轻巧的可执行程序 预设多级显存配置几乎在各种电脑上工作良好。通过配置页面切换Strategy到WebGPU还可以在AMDIntel等显卡上运行 自带用户友好的聊天续写作曲交互页面。支持聊天预设附件上传MIDI硬件输入及音轨编辑。 预览 | MIDI硬件输入 内置WebUI选项一键启动Web服务共享硬件资源 易于理解和操作的参数配置及各类操作引导提示 内置模型转换工具 内置下载管理和远程模型检视 内置一键LoRA微调 (仅限Windows) 也可用作 OpenAI ChatGPT 和 GPT Playground 客户端 (在设置内填写API URL和API Key) 多语言本地化 主题切换 自动更新
二、使用步骤
1. 下载文件
下载懒人包 https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd1111
将下载后的文件放到D:\ProgramData\RWKV。这里放到D盘目录是因为运行文件后会自动生成很多文件而且模型一般比较大放在C盘容易造成空间问题。
运行后RWKV-Runner_windows_x64.exe后目录内容生成如下 运行后界面如下 看到这个界面是不是很兴奋别着急。不信你点击“运行”试试。 哦原来是没有Python运行环境虽然本地允许有运行环境但没有配置前那都不算数。为方便也为与其它环境隔离我们单独建立Python运行环境这里的版本是3.10点下载安装Python。 安装Python还是不行纳尼还去依赖库是啊哪个Python不是一堆积木拼出来的。继续点安装。 会弹出一个cmd命令窗口可以看到正在下载各种库这个不用管让系统自动下载就好安装完第三方库窗口会自动关闭。 再次点击运行又提示模型文件不存在对头这里虽然选择了默认的模型GPU-2G-1B5-World但模型文件我们并没有下载。
这里我们切换到“模型”页面国内下载记着勾选“使用Hugging Face镜像源”这样下载会快一些。 注如果觉得这个下载也慢也可以借用笔者的终极大法参见之前文章进行下载。 【AI之路】使用huggingface_hub通过huggingface镜像站hf-mirror.com下载大模型附代码实现大模型自由 下载完大模型再次点击运行又报错。因为笔者这里没有使用英伟达的GPU所以自然没有NVIDIA驱动也没有CUDA可以进行加速那就不能玩了吗其实还是可以的。按如下修改即可。 进入配置页面选择刚才下载的模型将Strategy切换为CPU即可如下图 切换后还需要对模型进行转化才可以使用。默认精度int8选择fp16之后转换为GGML格式。在models目录就会看到除了刚才下载的模型又多了一个带fp16的bin文件。 再次返回主界面进入聊天即可开启对话模式。如下 在下面的对话框输入消息并点击右侧的向上箭头发送给大模型就可以看到大模型已经开始运行并反馈结果了。
另外这里我们可以调节右侧的参数调整大模型的生成效果。这个UI作者也是非常用心的。把鼠标放在参数上就会显示参数的功用。 参数“最大响应Token”最重要决定了一次对话生成内容的长度。可根据自己需要修改。GPU的话可以放到最大CPU放到最大就看你的CPU性能了。 总结
通过以上安装测试终于完成RWKV大模型的加载这样我们就可以随心所欲的生成需要的内容了。再也不用操心token不够用的问题了。不过大模型还是需要调教的在电脑性能、大模型产能和效果之间取一个平衡才是最好。
另外细心的小伙伴已经发现这个大模型启动平台还有个web访问地址http://127.0.0.1:8000/#/。我们直接打开地址可以看到如客户端 一般模样的UI。甚至还可以通过其它平台使用这个界面调用。如果加上ddns还可以实现远程的访问。此为后话有需要的小伙伴可以自行研究。
