江苏免费建站,北京网站建设小鱼在线,响水做网站的公司,多用户建站系统源码关注#xff1a;青稞AI#xff0c;学习最新AI技术 青稞Talk主页#xff1a;qingkelab.github.io/talks 大模型的进步#xff0c;正推动我们向通用人工智能迈进#xff0c;然而庞大的计算和显存需求限制了其广泛应用。模型量化作为一种压缩技术#xff0c;虽然可以用来加速… 关注青稞AI学习最新AI技术 青稞Talk主页qingkelab.github.io/talks 大模型的进步正推动我们向通用人工智能迈进然而庞大的计算和显存需求限制了其广泛应用。模型量化作为一种压缩技术虽然可以用来加速大模型并且有效降低显存需求但量化后也可能会带来精度风险。 在由北航、商汤、南洋理工等团队联合推出的即插即用的大模型压缩工具包LLMC中不仅支持DeepSeekv2(2.5)等MOE模型以及Qwen2VL、Llama3.2等VLM模型的量化还支持包括整型量化、浮点量化等量化方案以及AWQ、GPTQ、SmoothQuant 和 Quarot 等先进量化算法。
LLMC可以利用最先进的压缩算法提高效率并减少模型体积同时不影响预测精度。目前已开源大家可以直接使用
https://github.com/ModelTC/llmc12月16日晚8点青稞Talk第32期商汤科技研究院谷石桥和雍洋两位模型压缩研究员将对LLMC进行直播分享主题为《LLMC大语言模型压缩工具的开发实践》。
他们将从工具框架设计常用算法解读和工具使用方式等角度为大家详细讲解LLMC及实践希望大家可以从中获益。
主讲嘉宾
谷石桥商汤科技研究院模型压缩研究员毕业于天津大学现主要研究方向为深度学习的模型压缩技术目前已在EMNLPPatternRecognition, TCSVT等发表多篇论文。
雍洋商汤科技研究院模型压缩研究员毕业于西安交通大学现主要研究方向为深度学习的模型压缩技术目前已在AAAIEMNLPACM MM等发表多篇论文。
主题提纲
LLMC大语言模型压缩工具的开发实践
1、大模型压缩及量化风险 2、大模型压缩包 LLMC 的框架设计 3、LLMC 落地实践和推理后端部署 4、自定义扩展新算法、模型及评测数据
直播时间
12月16日周一20:00 - 21:00
