免费做标签格式网站,企业工资管理系统软件,单位公众网站建设要求,网络推广赚钱项目苹果公司人工智能科学家的一篇新论文发现#xff0c;基于大型语言模型的引擎#xff08;如 Meta 和 OpenAI 的引擎#xff09;仍然缺乏基本的推理能力。该小组提出了一个新的基准–GSM-Symbolic#xff0c;以帮助其他人衡量各种大型语言模型#xff08;LLM#xff09;的推…苹果公司人工智能科学家的一篇新论文发现基于大型语言模型的引擎如 Meta 和 OpenAI 的引擎仍然缺乏基本的推理能力。该小组提出了一个新的基准–GSM-Symbolic以帮助其他人衡量各种大型语言模型LLM的推理能力。 他们的初步测试表明查询措辞的细微变化会导致答案的显著不同从而损害模型的可靠性。 研究小组通过在查询中添加人类可以理解的上下文信息来研究数学推理的脆弱性但这些信息不应影响解决方案的基本数学。 这导致了不同的答案而这是不应该发生的。
该小组在报告中写道“具体来说[即使]在 GSM 符号基准中只改变问题中的数值所有模型的性能都会下降。此外这些模型中数学推理的脆弱性[表明]随着问题中分句数量的增加它们的性能也会显著下降。”
研究发现哪怕只增加一个看似与给定数学问题相关的句子都会使最终答案的准确率降低高达 65%。研究得出结论“根本无法在这个基础上建立可靠的代理在这个基础上改变一两个无关紧要的单词或添加一些无关紧要的信息就能得到不同的答案。”
一个能说明问题的特殊例子是一个需要真正理解问题的数学问题。 团队开发的任务名为GSM-NoOp类似于小学生可能会遇到的数学文字题。
查询以得出结果所需的信息开始。“奥利弗周五摘了 44 个猕猴桃。 然后周六他摘了 58 个猕猴桃。 周日他摘的猕猴桃数量是周五的两倍。”
然后查询添加了一个看似相关但实际上与最终答案无关的子句指出在周日采摘的猕猴桃中“有五个比平均值小一点”而所要求的答案只是问奥利弗有多少个猕猴桃
关于周日采摘的一些猕猴桃大小的说明应该与采摘的猕猴桃总数无关。 然而OpenAI 的模型以及 Meta 的 Llama3-8b 从总结果中减去了五个较小的猕猴桃。
这一错误逻辑得到了 2019 年的一项研究的支持该研究通过询问前两届超级碗四分卫的年龄可靠地混淆了人工智能模型。 通过添加他们参加比赛的背景和相关信息以及在另一场碗赛中担任四分卫的第三人模型得出了错误的答案。
新研究得出结论“我们没有发现语言模型中存在形式推理的证据。 LLMS 的行为最好用复杂的模式匹配来解释”研究发现这种模式匹配事实上非常脆弱[仅仅]改变名称就能改变结果。
