爱旅游网站制作,南昌建筑工程集团有限公司,设计页面纸张大小,平台电商运营iclr 2024 reviewer 评分 6668
1 intro
大型语言模型#xff08;LLMs#xff09;已显示出在上下文中学习的能力 给定几个带注释的示例作为演示#xff0c;LLMs 能够为新的测试输入生成输出然而#xff0c;现行的上下文学习#xff08;ICL#xff09;范式仍存在以下明显…iclr 2024 reviewer 评分 6668
1 intro
大型语言模型LLMs已显示出在上下文中学习的能力 给定几个带注释的示例作为演示LLMs 能够为新的测试输入生成输出然而现行的上下文学习ICL范式仍存在以下明显的缺点 最终性能极度敏感于选定的演示示例到目前为止还没有公认的完美演示选择标准制作演示可能是劳动密集型的麻烦的甚至是禁止性的 在许多 ICL 场景中演示不仅包含输入和相应的标签还包括由注释者生成的推理过程对于许多任务例如摘要人类难以表达决策背后的推理过程。论文提问我们真的需要人类为 LLMs 提供演示吗还是 LLMs 可以自己生成演示 ——提出了自我反思提示策略简称 SEC 不使用手工制作的示例作为演示而是要求 LLMs 首先自行创建演示基于这些演示生成最终输出SEC 有效地解决了 ICL 的缺点它不仅可以节省制作演示的繁重劳动更重要的是消除了人工制作提示的不稳定性
2 方法
2.1 Vanilla SEC 2.2 COT-SEC
原理和2.1是一样的之不多这边让大模型同时给出推导和答案的样例 3 实验
3.1 不同数据集希望LLM 生成的案例数量 3.2 结果比较 3.2 生成的案例数量的影响 3.3 prompt举例 4 reviewer 意见整理
4.1 reviewer1 6 4.2 reviewer26 4.3 reviewer36 4.4 reviewer48
