十大免费行情软件网站下载,织梦调用wordpress,郑州企业健康码,浙江省品牌建设联合会网站知识存储和检索正在成为大型语言模型(LLM)应用的重要组成部分。虽然检索增强生成(RAG)在该领域取得了巨大进步#xff0c;但一些局限性仍然没有克服。 俄亥俄州立大学和斯坦福大学的研究团队推出了HippoRAG#xff0c;这是一种创新性的检索框架#xff0c;其设计理念源于人类…知识存储和检索正在成为大型语言模型(LLM)应用的重要组成部分。虽然检索增强生成(RAG)在该领域取得了巨大进步但一些局限性仍然没有克服。 俄亥俄州立大学和斯坦福大学的研究团队推出了HippoRAG这是一种创新性的检索框架其设计理念源于人类长期记忆系统中的海马索引理论。
HippoRAG的引入使大型语言模型LLM应用程序能够更有效地集成动态知识并更快、更准确地检索重要信息。HippoRAG在多跳multi-hop问答等任务上表现出令人印象深刻的性能对于需要对大型复杂知识图进行组装和推理的LLM应用程序非常有用。
LLM知识整合的挑战
哺乳动物的大脑可以储存大量的知识并在不丢失以前经验的情况下不断整合新经验。这种长期记忆系统允许人类不断更新他们用于推理和决策的知识。
相比之下LLM在预训练后的知识整合仍然很困难。虽然RAG已经成为LLM中长期记忆的主流解决方案但现有的方法在处理新文档时往往采取单独编码的方式这使得不同来源的知识难以有效集成。
许多应用程序需要跨多个文档进行知识集成。例如科学文献综述、法律案例简报和医学诊断需要将不同来源中提到的事实和概念相互关联。标准的多跳问答也需要整合各种文档的多个段落之间的信息。
为了完成这些任务当前的RAG系统使用多个检索和生成步骤来连接不同的段落。然而即使执行了多步RAG对于许多知识集成场景来说也往往是不够的。
HippoRAG HippoRAG从大脑中的新皮层和海马体之间的生物相互作用中获得灵感这种相互作用使强大的基于场景的、不断更新的人类大脑记忆成为可能。
根据科学研究大脑皮层负责处理和存储实际的记忆表征而海马体则拥有一组相互关联的索引这些索引指向新皮层中的记忆单元并储存它们之间的关联性。这两个关键组成部分共同协作执行“模式分离”和“模式完成”的功能前者确保不同经历的表征具有独特性后者则让从部分刺激中检索完整记忆成为可能。
HippoRAG通过使用LLM将文档语料库转换为充当人工海马索引的知识图来模仿这种记忆模型。HippoRAG分为两个阶段离线索引用于存储信息在线检索用于将知识整合到用户请求中。
离线索引阶段类似于大脑中的记忆编码使用指令调优的LLM以知识图三元组的形式从段落中提取重要特征。与传统的RAG管道中使用的密集嵌入相比这允许更细粒度的模式分离。
人工海马索引是在检索语料库中得到的三元组的基础上建立的开放知识图谱。为了连接这些组件HippoRAG使用现成的密集编码器进行检索这些编码器在知识图中相似的名词短语之间提供额外的边缘以帮助下游模式完成连接。编码器有助于使系统更有弹性和灵活性因为相同的知识可以用稍微不同的方式表达。
在线检索过程反映了大脑的记忆检索过程。LLM从用户查询中提取显著的命名实体然后根据检索编码器确定的相似性将其链接到知识图中的节点。然后HippoRAG使用个性化PageRank算法这是PageRank的一个版本它使用一组用户定义的源节点在图中分布概率。这种约束使HippoRAG能够将其输出限制为前一步中选择的候选查询节点集。然后将结果应用于索引的段落以选择它们进行检索。
HippoRAG的实际应用
研究人员在两项具有挑战性的多跳问答基准测试MuSiQue和2WikiMultiHopQA以及HotpotQA数据集上对HippoRAG的检索能力进行了全面的评估。他们将其与几种强大的检索方法和最近的LLM增强基线进行了比较。
评估结果表明 HippoRAG在单步检索上优于所有其他方法包括那些基于LLM增强的基线模型。与多步骤检索方法IRCoT相结合时HippoRAG在相同的数据集上提供高达20%的互补增益。
HippoRAG的一个主要优点是它能够在一个步骤中执行多跳检索。其在线检索过程的成本与目前的迭代检索方法(例如IRCoT)相比低10到30倍快6到13倍同时实现了相当的性能。
研究人员在报告中写道“我们提出的神经生物学原理方法虽然简单但已经显示出克服标准RAG系统固有局限性的巨大潜力同时保留了它们相对于参数记忆的优势。HippoRAG在路径跟踪多跳QA和路径发现多跳QA方面的卓越表现以及其显著的效率提升和持续更新的能力使其成为了连接标准RAG方法和参数化记忆之间的强大中间框架为LLM中的长期记忆问题提供了令人信服的解决方案。”
研究人员承认为了进一步改进HippoRAG还需要克服一些局限性例如对其组件进行微调并进一步验证其对更大知识图谱的可扩展性。然而当前的研究结果已经证明了神经生物学启发的方法在推进LLM知识整合方面的潜力并使他们能够对非结构化信息进行更复杂的推理。
知识图谱和LLM的结合是一个非常强大的工具可以解锁许多应用程序。GNN-RAG是一种将图神经网络(GNN)和知识图与LLM相结合的创新方法已被证明可以解决许多经典RAG无法解决的复杂推理问题。而将GNN引入HippoRAG可能是未来探索的一个有趣方向。
