农村建设集团有限公司网站,下载百度极速版,互联网平台设计师,永久免费网站建立多模态和多智能体#xff0c;在系统2#xff08;深思熟虑#xff09;方面的探索 提出背景理性的定义为什么理性定义是四大基本原则#xff0c;而不是其他数量#xff0c;又为何是这四个#xff0c;而不是其他#xff1f;理性 不等于 推理 通过多模态多智能体系统增强理性… 多模态和多智能体在系统2深思熟虑方面的探索 提出背景理性的定义为什么理性定义是四大基本原则而不是其他数量又为何是这四个而不是其他理性 不等于 推理 通过多模态多智能体系统增强理性推动基础与不变性幻觉问题知识检索和工具使用引入符号逻辑做可信推理未来研究方向通过外部手段来增强系统的内在理性选择正确的评估指标非常关键多模态多智能体系统中的研究潜力巨大 最喜欢的路在Transformer的基础上结合知识图谱、神经符号计算等 论文https://arxiv.org/pdf/2406.00252
代码https://github.com/bowen-upenn/MMMA_Rationality
提出背景
大模型在许多任务中展示了令人瞩目的成绩特别是在模仿人类类似的推理能力方面表现出色。
这些模型利用人类语言的丰富性来抽象概念、深化思考过程、解读复杂的用户查询并在决策场景中制定计划和方案。
尽管取得了这些进展最新研究显示即使是最先进的LLMs也存在各种非理性行为如框架效应、确定性效应、过重视偏见和联合谬误。
这种非理性行为削弱了LLMs在医疗、金融和法律等关键领域的实际部署这些领域极需可靠性和一致性。
对LLMs的事实准确性和可信度的日益关注突显了迫切需要开发出具有合理推理过程的更优秀的代理或系统。
单一的LLM代理可能会陷入非理性行为因为它无法超越语言模型内部对文本知识的参数化表示缺少发展理性所需的现实世界基础和反馈机制。
而在现实生活中重要的决策很少由个人独立做出复杂的问题通常需要不同领域专家的合作以确保理性。
类似地近期在多模态和多智能体框架方面的进步通过不同代理的共同努力实现集体目标增强了推理能力。
多模态基础模型通过在更广泛的感官背景下做出决策来增强推理这与人脑如何整合丰富的感官输入以形成更全面的知识基础相似。
同时多智能体系统引入了共识、辩论和自我一致性等机制通过协作交互实现精细和可靠的输出。
这些系统还可以查询外部知识源或工具来增强其推理能力从而做出理性决策。
本次调查通过汲取认知科学的见解为重新解释当前多模态及/或多智能体系统背后的动机提供了独特的视角。
我们概述了合理决策的四个基本要求并探讨了多模态和多主体文献中的各研究领域是如何基于这些标准朝着理性方向发展的。
我们认为这些进展超越了单一语言模型代理的局限并缩小了代理系统行为与合理决策预期之间的差距。
最后我们强调现有文献中缺乏足够的评估指标和基准无法充分衡量LLMs或代理系统的理性。
我们希望这项调查能激发在代理系统和认知科学交叉领域进一步的研究。
理性的定义
理性代理应该真实地看待其所处的世界并避免在做决策时产生自相矛盾的结论。
基于理性决策制定的一些基础理论本节采用了一种公理化的方法来定义理性提出了我们期待理性代理或系统应该遵循的四大基本原则
基础性理性代理的决策应建立在现实的物理和事实基础之上。例如一个视频生成代理应该符合世界模型中的物理规律而一个预测助理则应按照概率法则来估算可能性。偏好的排序性在决策场景中理性代理能够根据当前情况对不同选项进行排序并基于预期的结果选择最合适的选项。这种排序性包括可比性、传递性闭包、可解性等几个关键原则这些原则在附录A中有详细定义。独立于无关环境代理在做决策时的偏好不应受到与决策问题无关信息的影响。不变性在面对决策问题的不同表述时理性代理的偏好应保持一致不受具体措辞或表现形式的影响。
为什么理性定义是四大基本原则而不是其他数量又为何是这四个而不是其他
Q1: 为什么理性是四大基本原则而不是其他数量 A1: 四大基本原则基础性、偏好的排序性、独立于无关环境、不变性被界定为理性的核心因为它们共同涵盖了理性决策的基础需求现实基础、偏好的明确性、环境影响的排除以及决策的一致性。这四个原则足以构成一个完整的逻辑框架确保决策的全面合理性。
Q2: 这四个原则为什么能确保决策的全面合理性 A2: 每个原则解决决策过程中的一类常见偏误或缺陷。
基础性确保决策与客观事实相符偏好的排序性帮助明确最优选择独立于无关环境防止无关因素干扰决策不变性保证在不同表述或情境下偏好的一致性。
这些原则相互作用提升决策的理性和效果。
Q3: 为什么需要这样的原则来解决决策中的偏误或缺陷 A3: 在复杂的决策环境中人类或机器易受限于知识、情绪、环境等因素的影响导致非理性的决策。
设定明确的原则帮助系统化地识别和剔除这些非理性因素从而提高决策的准确性和可靠性。
Q4: 这些原则背后的更深层次原因是什么 A4: 这些原则基于认知科学、决策理论和逻辑学的深入研究。
它们不仅是理论上的抽象而是经过长期观察、实验和验证得出的能有效应对实际决策中的复杂性和不确定性。
Q5: 最根本的原因是什么 A5: 最根本的原因是追求决策的最大合理性和效率。
在资源有限和信息不完全的现实世界中制定和遵循这些原则能最大限度地提高决策质量减少错误和资源浪费。 理性 不等于 推理
需要强调的是理性并非等同于推理尽管两者密切相关。
理性关乎做出符合现实且逻辑连贯的决策而推理则是指基于可获得的信息进行逻辑推断和得出结论的认知过程。
设想一个输入和输出决策空间都是有限的环境一个将输入与输出进行一致性映射的查找表本质上是理性的但这种映射并不必然涉及推理。
虽然这个例子说明了理性可以独立于推理但在实际应用中特别是面对复杂多变的真实世界问题时简单的查找表通常不足以应对推理在确保决策理性中起着关键作用。
代理需要具备在新情境中进行推理、适应变化环境、制定计划并在信息不全或不确定的情况下作出理性决策的能力。
通过多模态多智能体系统增强理性 每个领域例如知识检索或神经符号推理都关注于满足理性思维的一个或多个基本需求。
这些理性需求通常是相互关联的强化一个方面的理性通常会同时提升其他方面。
此外目前多主体系统实现理性的整体机制主要涉及两个核心概念深思熟虑和抽象化。
深思熟虑倡导一种较慢的、迭代的推理过程而抽象化则指将问题归纳为其逻辑本质。
深思熟虑鼓励深入的思考过程如集思广益和反思而抽象化则是将问题简化到其逻辑本质比如调用工具的API或整合神经符号推理智能体。
大多数现有研究并未在其原始文献中明确以理性为基础构建其框架。
我们的分析旨在通过四大理性公理的视角重新解读这些研究提供一种新的视角将现有的方法与理性原则相结合。
推动基础与不变性
多模态方法旨在通过语言、视觉等多个渠道改善信息的基础。
通过融入多模态代理多智能体系统的能力得到极大拓展能够更丰富、更精确且更具上下文意识地解读环境。
多模态基础模型如CLIP、VLBERT和ViLBERT、BLIP-2、Flamingo、LLaVA、CogVLM、MiniGPT-4、GPT-4 Vision和GPT-4o及Gemini 1.5 Pro等成为多模态代理系统在视觉及其他领域基础知识的基石。
幻觉问题知识检索和工具使用
有限理性是为认知有限的代理量身定制的概念指出决策受到手头资源的限制偏离最优主要因计算能力和有限工作记忆受限。
LLMs的参数性质根本限制了它们能持有的信息量。
因此在面对不确定性时LLMs常产生幻觉生成的输出并不支持环境的实际现实。
检索增强生成RAG标志着解决LLMs这一固有局限性的重要里程碑广义上指的是任何向LLM的输入上下文提供外部知识以帮助其提供最新、事实和基础的信息的机制尤其是在科学和医疗领域。
此外大型世界模型是一种先进的人工智能技术旨在通过模拟现实世界的复杂动态来减少多模态幻觉即误解或错误地解释多种感官输入如视觉和语音。
这种世界模型扮演了核心角色。在这一框架下AI代理的行为是由实现具体目标所驱动的代理需要理解世界的运作方式并能在此基础上作出反应。
这超越了基本的前馈推理系统1的下意识计算并进入到更复杂的推理和规划阶段系统2的活动以实现设定的目标。
例如JEPA通过创建一个循环世界模型在一个抽象的表示空间中模拟世界的动态以此来培养AI的这种复杂的推理能力。
大型世界模型通过分析视频序列和文本信息从中提取关于世界如何运作的见解进而发展成为一种通用的世界模拟器。
然而尽管这些模型在模拟世界方面取得了一定的进展它们仍然面临着一些挑战特别是缺乏一个可靠的物理引擎来确保在模拟现实世界动态时的准确性和可靠性。
这意味着尽管技术前景广阔但在完全实现这些高级功能之前还需要进一步的研究和开发。 还有许多研究通过构建大规模的知识图谱来扩展LLMs的记忆能力这些图谱从真实世界的数据源中提取信息提供一个丰富的知识基础。例如
MAVEx通过整合ConceptNet和Wikipedia的知识提高了系统的得分并通过跨模态验证进一步提升性能。ReAct利用外部知识库显著降低了由幻觉引起的误报率。MineDojo使用互联网规模的多模态知识在创造性任务上显著超越所有基线。DoraemonGPT 和 SIRI这些系统通过支持知识工具和构建多视角知识库来增强内容的理解和回答的可解释性。
引入符号逻辑做可信推理
偏好的连贯有序性是指在决策过程中智能系统能够根据一致的标准和规则做出选择保持决策的逻辑一致性和偏好的稳定性。
这对于确保智能系统的输出既可靠又可预测至关重要。
融合符号模块的多代理系统
这类系统通过整合符号逻辑和规则提供一个明确和透明的推理框架使得智能系统不仅能理解语言查询还能在保持逻辑一致性的基础上做出推理和决策。这是单个大模型所无法达到的因为LLMs通常缺乏处理复杂逻辑关系和维持长期一致性的能力。
实际应用案例
Logic-LM该系统结合了问题构建、符号推理和结果解读代理。它利用符号推理器为LLMs提供确定性的符号求解器确保选择始终正确。此外它的多代理框架还鼓励自我完善能够通过接收来自符号推理器的错误反馈来修正逻辑构建错误。Binder 和 Parsel这些系统将任务分解为规划、解析和执行阶段其中符号推理代理帮助系统维持输出中符号选项的连贯偏好顺序。Parsel的研究发现绕过符号模块会导致性能显著下降证明了符号逻辑在保持决策连贯性中的重要性。
提升决策一致性的方法
通过深思熟虑、辩论和记忆多智能体系统能够提升偏好的有序性和不变性。这些系统通过缓慢且审慎的思考过程使得智能体在做出决策前能够充分考虑各种信息和选项从而提高决策的理性和一致性。多轮自我反思和辩论帮助智能体从不同视角审视问题进一步精炼和优化其决策过程。
偏好的连贯有序性不仅强化了智能系统在面对复杂决策时的逻辑性和一致性还提高了系统输出的可信度和实用性。
通过融合符号模块和多代理协作智能系统能够更有效地处理和整合复杂信息实现高质量的决策输出。
这种方法的发展为智能系统的设计和应用带来了新的可能性使其在实际操作中更加精确和可靠。
未来研究方向
通过外部手段来增强系统的内在理性
目前将多智能体或多模态系统与大模型结合并不能自动提升模型的理性。
现有的方法更多地像是一种桥梁帮助填补LLMs输出与理性思考之间的差距让多智能体系统在给出回应时表现得更加合理像是在进行合理的思考。
然而即使这些系统能产生更合理的回应如何将这些提升的输出有效地重新整合到LLMs中使得LLMs在最初的回应中就显示出更高的理性依然是一个待解决的问题。
选择正确的评估指标非常关键
目前的评估主要关注于最终性能的准确性而忽略了中间推理步骤和理性的重要性。
尽管已经有一些尝试去评估智能体系统的理性但这一领域仍缺乏全面和严格的评估指标。
此外现有的关于理性的基准测试在比较多智能体框架和单智能体基线时往往未能充分展示多智能体框架的优势。
多模态多智能体系统中的研究潜力巨大
目前在多智能体辩论、协作和神经符号推理等领域多模态感官输入的潜力还没有得到充分的利用。
通过扩展多模态的角色不仅限于视觉、听觉和结构化数据我们可以显著提升多智能体系统的能力和决策的合理性。
这些研究方向为未来的发展开辟了新的视野强调了理性思考在智能系统中的重要性并指出了现有方法的局限性和未来研究的重要方向。
最喜欢的路在Transformer的基础上结合知识图谱、神经符号计算等
https://mp.weixin.qq.com/s/nJwWORorKPwXfuUj6CSQnA
OpenA 也在搞这个下一代 GPT5 就是实现系统2深思熟虑。
