apache建设本地网站,公司网站运营,做电商图的设计网站,html页面 wordpress本期为TechBeat人工智能社区第536期线上Talk#xff01; 北京时间10月11日(周三)20:00#xff0c;弗吉尼亚理工大学博士生—徐智阳、沈莹的Talk已准时在TechBeat人工智能社区开播#xff01; 他们与大家分享的主题是: “通过多模态指令集微调提升VLM的零样本学习”#xff… 本期为TechBeat人工智能社区第536期线上Talk 北京时间10月11日(周三)20:00弗吉尼亚理工大学博士生—徐智阳、沈莹的Talk已准时在TechBeat人工智能社区开播 他们与大家分享的主题是: “通过多模态指令集微调提升VLM的零样本学习” 介绍了由他们提出的MultiIntruct和第一个多模态指令集微调数据集。 Talk·信息
▼
主题通过多模态指令集微调提升VLM的零样本学习
嘉宾弗吉尼亚理工大学博士生 徐智阳
弗吉尼亚理工大学博士生 沈莹
时间北京时间 10月11日(周三)20:00
地点TechBeat人工智能社区
点击下方链接即可观看视频
TechBeatTechBeat是荟聚全球华人AI精英的成长社区每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验加速并陪伴其成长。https://www.techbeat.net/talk-info?id815
Talk·介绍
▼
指令集微调可以很有效地提升大语言模型的零样本学习能力并且提高大语言模型执行用户的指令的能力。但是在多模态领域中指令集微调并没有被探索与研究。随着越来越多的生成式视觉语言模型的出现我们认为指令集微调也可以被拓展到多模态领域。我们提出的MultiIntruct 是第一个探索与研究指令集微调在多模态领域的工作并且提出了第一个多模态指令集微调数据集。我们的实验结果证实了指令集微调可以很大程度提升视觉语言模型的泛化能力。
Talk大纲
1.介绍指令集微调在自然语言处理中的发展与应用
2.提出多模态指令集微调的可能性以及存在的问题
3.介绍视觉语言模型ofa
4.介绍MultiInstruct 第一个多模态指令集微调数据集
5.讲解在MultiInstruct上的多模态指令集微调的实验细节
6.分析零样本学习的性能并且总结他们的发现
Talk·预习资料
▼ 论文链接:
https://aclanthology.org/2023.acl-long.641/
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动留下你的打call和问题和更多小伙伴们共同讨论被讲者直接翻牌解答 你的每一次贡献我们都会给予你相应的i豆积分还会有惊喜奖励哦
Talk·嘉宾介绍
▼ 徐智阳
弗吉尼亚理工大学博士生
徐智阳现为弗吉尼亚理工计算机科学三年级博士导师为lifu huang。本科获得伦斯勒理工计算机工程学位。研究生就读于麻省大学与Andrew McCallum 合作发表文章在EMNLPAKBCNeurips 等国际会议。博士期间致力于研究自然语言处理和多模态中的零样本和小样本学习并发表多篇论文在ACLEMNLP。近期工作MultiInstruct 获得ACL 2023 杰出论文奖。
个人主页:
https://www.techbeat.net/grzytrkj?id34797 沈莹
弗吉尼亚理工大学博士生
沈莹弗吉尼亚理工大学计算机科学专业的博士生。她的研究兴趣在于深度学习、自然语言处理和多模态机器学习该研究领域专注于集成和建模多种交流模态包括语言、听觉和视觉消息。她的研究热情是构建更多类人的交互式代理以便更好地理解、解释和推理周围的世界。
个人主页
https://www.techbeat.net/grzytrkj?id34815 关于TechBeat人工智能社区
▼ TechBeat(www.techbeat.net)隶属于将门创投是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地分享自己最新工作的沃土在AI进阶之路上的升级打怪的根据地 更多详细介绍TechBeat一个荟聚全球华人AI精英的学习成长社区
