安贞做网站公司,seo白帽优化,公司搜索seo,wordpress 首页欢迎夕小瑶科技说 原创 作者 | 小戏
2023 年智源大会如期召开#xff01;
这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会#xff0c;聚焦 AI 领域的前沿问题#xff0c… 夕小瑶科技说 原创 作者 | 小戏
2023 年智源大会如期召开
这场汇集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一众几乎是 AI 领域学界业界“半壁江山”的大佬们的学术盛会聚焦 AI 领域的前沿问题讨论尤其是大模型出现后 AI 新时代的新风向。 纵观整个开幕式的议程设置在致辞环节结束后首先由智源研究院院长黄铁军带来了智源研究院近期进展的报告报告开宗明义实现所谓真正的人工智能目前有三条进路分别是当下 GPT 为代表的自监督深度学习到信息模型的进路以 DQN 为代表的强化学习到具身模型的进路以及基于第一性原理的生命科学脑科学进路 大模型研究测试传送门
GPT-4能力研究传送门遇浏览器警告点高级/继续访问即可 https://gpt4test.com
基于这三条进路按图索骥黄铁军院长介绍了智源近期的开源工作其中最重要的当属悟道3.0全面开源其中比较有趣的工作有
悟道·天鹰Aquila”语言大模型系列首个支持中英双语知识、商用许可符合国内数据要求的开源大模型“天秤FlagEval”大语言评测体系及开放平台通过能力-任务-指标三维评价体系构建了一个 30 种能力 x 5 种任务 x 4大类指标超过 600 维度的全面测评体系FlagOpen飞智大模型技术开源体系集成了一个完整的大模型算法技术仓库从零开始也能 Follow 大模型的基础工作天演-生命模拟工程通过脑模拟实现生物启发的通用人工智能模型。 当然整个上午场最吸引眼球的报告肯定是图灵奖得主三巨头之一的 Yann LeCun 与未来生命研究所创始人MIT 教授 Max Tegmark 的演讲而颇为戏剧性的是两位的观点又恰巧十分之对立Yann LeCun 教授观点直入主题“Machine Learning Sucks”意指当前大模型的技术路径或许根本无法实现对人类有威胁的真正的人工智能而 Max Tegmark 教授则反复强调“Keep AI Under Control”如果 AI 失控则会导致“Lights Out for All of Us”不谈技术进路如果回顾历史人类的出现导致了智能更低的长毛象的灭绝面对日新月异发展速度可怕的人工智能体Keep AI Under Control 异常有必要。 人在法国的 Yann LeCun 教授在法国那边凌晨四点与会场嘉宾与观众直播连线开头就指出了对比人类或动物智能当前大模型智能基础监督学习与强化学习的主要问题
有监督学习要求太多标注数据人类智能或者动物智能在成长环境中必然不是依赖如此规模的标注工程而形成的智能强化学习强化学习要求太多完全不合理的“试错”真正的智能似乎学习的更快也更鲁棒
这就造成了当前大模型的技术架构即自回归大规模语言模型往往会出现“脆弱”“不会计划”“不合理的输出”等等许多问题表现在应用中将是“事实错误”“逻辑错误”“不一致”……等等问题。
而 Yann LeCun 教授指出大模型为什么会这样因为它们事实上就根本没有理解现实世界很精辟的总结在于“ We are easily fooled by their fluency. But they don’t kown how the world works”
归根结底 Yann LeCun 教授认为当前 AI 只靠语言模型必然走不远那么未来是什么呢 答案就是 Yann LeCun 教授最近反复强调的“世界模型”教授构想的可以支持推理与规划的真正的“智能体”应该包含以上六个组件分别是配置器Configurator模块感知模块Perception module世界模型World model成本模块Cost moduleActor 模块短期记忆模块Short-term memory module。
而其中最重要的部件就是世界模型而如何训练一个不是用于简单分类回归而是表征多种预测的世界模型呢Yann LeCun 教授提出了联合嵌入预测架构Joint-Embedding Predictive ArchitectureJEPA并对架构做出了细致的阐述。这些思想被总结发表在《A path towards autonomous machine intelligence》之中我们之前也有过报道传送门LeCun最新演讲痛批GPT类模型没前途称“世界模型”是正途 另一边Max TegMark 教授在 Keep AI Under Control 的大观点下着重叙述了我们应当如何 Keep AI Under Control教授认为核心将在于“Align AI 以及 Multiscale Alignment”即其核心思想在于如何使得 AI 与人类的价值观、想法保持一致并且这种一致不是个体化的一致而是群体性的、广泛性的一致。那么继续深入如何“对齐”如何保持多尺度大规模的“对齐”答案将是或许也只能是对“可解释性”领域的研究。教授着重介绍了几篇工作
以 Quanta 为概念基础为大模型 Scale Law 与涌现能力做解释的《The Quantization Model of Neural Scaling》 研究 Transformer 中事实知识存储修改与编辑的《Locating and Editing Factual Associations in GPT》这篇我们做了解读传送门MIT发现语言模型内的事实知识可被修改 研究模型预测能力本质的《Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task》等等一系列真正相关模型黑盒内部构造的论文。 事实上我们对 AI 可控可靠的要求可能从低到高分为了 Diagnose TrustworthinessImprove Trustworthiness 以及 Guarantee Trustworthiness最开始我们只是确信像脚踩刹车一样踩下去速度就会降低而不用理解刹车器的原理而更加 Improved 之后的信任可能来自于部分的理解理解刹车器的一些操作原理而真正的 Guarantee Trustworthiness 则在于将那个“黑盒”完全透明化深度的理解内部全部的知识并且可以复现与移植。
总而言之在当前这样一个真正的智能 AI 还处在混沌期的时间节点我们必然不应该“Overtrust AI”而应该将其限制在一个可控的范围内而要想使得大模型或者 AI 可靠可控其必要一步与关键一招就是需要将 AI 的黑盒打开即对 AI 可解释性研究的关注。 最后开幕式后9 号下午与 10 号全天还有 20 个分论坛百场报告在各个不同的子领域都有大咖学者亲临现场精彩还在继续感兴趣的大家可以关注2023年智源大会的日程安排
