百度搜不到 但搜关键词有的网站,中国建设银行官网首页网站,网站建设方案 预算,网站开发和微信开发需要什么人【大语言模型】ACL2024论文-20 SCIMON#xff1a;面向新颖性的科学启示机器优化 目录 文章目录 【大语言模型】ACL2024论文-20 SCIMON#xff1a;面向新颖性的科学启示机器优化目录摘要研究背景问题与挑战如何解决创新点算法模型实验效果推荐阅读指数#xff1a;★★★★☆ …【大语言模型】ACL2024论文-20 SCIMON面向新颖性的科学启示机器优化 目录 文章目录 【大语言模型】ACL2024论文-20 SCIMON面向新颖性的科学启示机器优化目录摘要研究背景问题与挑战如何解决创新点算法模型实验效果推荐阅读指数★★★★☆ 后记 SCIMON面向新颖性的科学启示机器优化
摘要
本文探索并增强了神经语言模型生成基于文献的新颖科学方向的能力。传统的基于文献的假设生成工作通常集中在二元链接预测上这严重限制了假设的表达性并且没有专注于优化新颖性。本文提出了一种新的设置模型使用背景上下文例如问题、实验设置、目标作为输入并输出基于文献的自然语言想法。我们提出了SCIMONScientific Inspiration Machines with Optimization for Novelty这是一个建模框架它从过去的科学论文中检索“启示”并通过与先前论文的迭代比较明确优化新颖性直到达到足够的新颖性。全面的评估揭示了GPT-4倾向于生成技术深度和新颖性总体较低的想法而我们的方法部分缓解了这个问题。我们的工作代表了评估和开发从科学文献中生成新想法的语言模型的第一步。
研究背景
几十年来人们一直认为可以利用文献中的信息自动生成假设。迄今为止研究集中在一个特定设置上假设概念对之间的联系通常在药物发现应用中例如新的药物-疾病联系其中概念是从论文或从论文中派生的知识库中获得的。这种常见设置有根本性的缺点将科学思想的语言简化为这种简单形式限制了我们希望生成的假设的表达性并且没有捕捉到科学家考虑的微妙上下文目标应用设置、要求和约束、动机和挑战。鉴于最近在大型语言模型LLMs方面取得的进展本文探索了一种截然不同的设置模型接受问题上下文的描述并返回基于文献的新颖科学方向的自然语言建议。
问题与挑战
表达性限制将科学思想的语言简化为二元链接预测形式限制了生成假设的表达性。新颖性优化缺失现有工作没有专注于优化新颖性。上下文捕捉不足没有捕捉到科学家考虑的微妙上下文例如目标应用设置、要求和约束、动机和挑战。现有模型的局限性尽管大型语言模型LLMs在解释和产生自然语言内容方面取得了显著进展但它们在生成新颖科学想法方面存在困难。
如何解决
SCIMON框架提出了SCIMON框架它从过去的科学论文中检索“启示”并明确通过迭代比较来优化新颖性。自动化数据收集方法开发了一种自动化数据收集方法从科学论文中收集过去的问题和提出的 ideas 的例子。迭代新颖性提升模型在生成想法后将其与现有研究进行比较如果发现与现有研究高度重叠模型会更新其想法以相对于先前的工作更具新颖性。
创新点
新颖性优化SCIMON框架通过迭代比较来优化新颖性这是对现有工作的显著改进。上下文和启示的结合模型结合了背景上下文和从过去文献中检索的启示以生成新颖的科学想法。自动化数据收集提出了一种自动化方法来收集用于训练LLMs的数据这些数据包括问题描述和相应的建议想法。全面评估进行了首次全面评估以评估语言模型在新的生成性、上下文设置中生成科学想法的能力。
算法模型
SCIMON框架包括以下几个关键组件
启示检索模块从语义邻居、知识图谱邻居和引用邻居中检索信息以丰富背景上下文。想法生成模块给定检索到的启示和上下文生成基于上下文的想法。迭代新颖性提升通过与现有研究的迭代比较提升生成想法的新颖性。
实验效果
实验部分包括以下几个方面
人类评估研究通过四项人类评估研究探讨了问题的各个方面和方法。模型性能比较比较了不同模型的性能包括GPT-4和其他基线模型。新颖性提升效果评估了迭代新颖性提升方法的效果。
重要数据与结论
GPT-4的性能GPT-4倾向于生成技术深度和新颖性总体较低的想法。SCIMON的优势SCIMON方法在任务上优于基线LLMs但生成的想法仍然大多是增量的并且细节不足。新颖性提升迭代新颖性提升方法能够显著提高想法的新颖性但模型往往倾向于建议流行概念的组合。
推荐阅读指数★★★★☆ 后记
如果您对我的博客内容感兴趣欢迎三连击 (***点赞、收藏和关注 ***和留下您的评论我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享助力您更快更准更系统地了解 AI前沿技术。
