萧山大江东规划国土建设局网站,公司设计资质,企业邮箱注册申请免费注册官网,企业网站的内容BrainGPT1#xff0c;一个帮你b站点歌放视频的多模态多轮对话模型 返回论文目录
项目地址 模型地址
作者#xff1a;华东师范大学#xff0c;计算机科学与技术学院#xff0c;智能教育研究院的小怪兽会微笑。
介绍
BrainGPT1是一个工具调用多轮对话模型#xff0c;与G… BrainGPT1一个帮你b站点歌放视频的多模态多轮对话模型
返回论文目录
项目地址 模型地址
作者华东师范大学计算机科学与技术学院智能教育研究院的小怪兽会微笑。
介绍
BrainGPT1是一个工具调用多轮对话模型与GPT-4o不同的是模型通过调用多个工具模型实现了多模态的多轮对话。因此模型具备有工具灵活更新定制化使用的特点。模型主要具有以下能力 通用问答默认使用讯飞星火大模型提供的免费APIspark lite也可以自行接入其他API或本地模型项目中提供了接入本地ChatGLM3的API的demo。 画图能力默认使用stable-diffusion-xl-base-1.0模型。 图片问答默认使用InternLM-XComposer模型。 多媒体播放默认代码查询并返回bilibili的搜索结果。 天气查询默认使用代码查询并返回API的结果。
BrainGPT1的基座模型采用了ChatGLM3,经过全量微调获得调用工具的实现方式与ChatGLM3类似。
项目前端使用streamlit框架主要基于Streamlit Multimodal Chat Input和streamlit-chat 实现前端的多轮多模态对话效果。
尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性但由于缺乏实际用户下的训练数据且模型受概率随机性因素影响无法保证输出内容的准确。本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。本项目遵循BSD 3-Clause License。
实际Demo 使用简介
只需要一个16G显存左右的卡然后部署下面给出的braingpt-1.0模型即可使用多媒体播放功能等。 如果需要画图功能和基于图片对话功能需要下载下面教程中的对应模型如果不部署这两个模型不影响其他功能。
使用方式
1.环境准备
conda env create -n braingpt python3.8.8conda activate braingpt pip install -r requirements.txt2.模型准备
cd Models
git clone https://huggingface.co/ALmonster/braingpt-1.0
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://huggingface.co/internlm/internlm-xcomposer2-4khd-7b3.启动模型
#默认启动在5999端口,启动Datas的文件访问服务器用于前端显示图片
cd Datas
python simple_server.py#默认启动在6000端口,启动braingpt
cd ../Functions/braingpt
bash brain_api.sh#如果打算使用spark的免费api可以在web.py中配置然后跳过这个6001步骤
#否则修改/Utils/brain_main.py的78-83行代码把注释的解注释把没注释的注释
#默认启动在6001端口
cd ../general_gpt
bash chatglm3_api.sh#默认启动在6002端口,启动生成图片功能
cd ../generate_images
bash pic_api.sh#默认启动在6003端口,启动基于图片对话功能
cd ../chat_images
bash intern_api.sh4.启动web
#启动前端
streamlit run web.py注意事项
braingpt占显存13.3G左右stable-diffusion-xl-base-1.0占显存13.5G左右InternLM-XComposer占显存48G左右。如果没有启动stable-diffusion-xl-base-1.0InternLM-XComposer但启动了braingpt除了画图和基于图片问答功能外不受影响如果没有足够的显存启动internlm-xcomposer2-4khd-7b可以考虑修改推理参数或者换其他更小的模型。
Contact
有任何问题或反馈欢迎联系作者小怪兽会微笑
Readme_EN
Previously, an incident occurred where my application for the llama3 model on Hugging Face was not approved. As a result, this document does not have an English introduction, and future applications for the model file will not be open to regions outside of mainland China.
