久久建筑网怎么样,seo教程网,如何免费自己创建网站,发布建设网站诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文全名#xff1a;Toolformer: Language Models Can Teach Themselves to Use Tools 论文下载地址#xff1a;https://arxiv.org/abs/2302.04761
这篇文章是介绍tool learning的#xff0c;大概来说就是…诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文全名Toolformer: Language Models Can Teach Themselves to Use Tools 论文下载地址https://arxiv.org/abs/2302.04761
这篇文章是介绍tool learning的大概来说就是训练模型实现这个功能根据query判断是否需要通过调用工具传参进API来获取一些特定信息比如天气、实时汇率等还有计算器、问答系统、搜索引擎、翻译系统、日历。结合工具返回的结果LLM输出最终结果。 这种做法在现在LLM里用的也蛮多的了现在应该已经可以实现在一句话里多次调用、链式调用API了虽然据说可能会出现死锁所以必须要DAG捏 很多细节懒得写了大家看原文吧。 文章目录 1. 思路2. Toolformer用字符串表示一个API调用API 3. 实验1. 数据集构建2. 主实验结果3. 模型分析1. Scaling Laws2. 解码策略3. 数据质量 1. 思路
Toolformer主要致力于解决一些LLM反而解决不了的基础问题比如算术比如获取最新信息LLM缺失最新信息也使其倾向于产生幻觉这块我的理解是这就是很直觉的因为LLM不知道所以就瞎编解决方案就是让LLM去调用外部工具。 现存的解决方案要么需要人工标注1要么外部工具类型单一2 3而Toolformer就可以实现
自监督学习使用工具不需要大规模人工标注。工具可选范围广泛
2. Toolformer
训练过程实现方法
用LLM自监督标注出API调用训练集可以视为是bootstrapping方法 大致来说就是根据query抽样API调用位置和命令执行命令从返回的结果中选出不会降低接下来token的语言模型损失函数的样本中损失函数最低的样本。 设计评估API的损失函数这里有很多太细节的东西我就懒得写了总之这里有一点比较tricky就是拿API召回结果当前缀…… 最后将返回结果嵌入LLM回答中。 以QA工具为例抽样时采用的prompt模版全部模版见Appendix A.2 整体流程 微调LLM
推理过程在出现→token时调用API
用字符串表示一个API调用
一个API调用是一个元组 c ( a c , i c ) c(a_c,i_c) c(ac,ic) a c a_c ac是API名称函数 i c i_c ic是API输入参数。 r r r是API返回结果我们定义序列化的API调用指用字符串表示的一个API调用带不带返回结果的如下两种情况 API/API→是特殊字符在实际实验中用词表中存在的token[]-来替代如Figure 1所示
API
具体选了哪些API之类的我懒得写了。总之在这里粘一下正文图表
API及其输入输出示例
3. 实验
1. 数据集构建
↓ 这个是调用API的位置和“调用API有用”的位置之间的threshold和API量就是权重低于这个阈值才会选择调用把这个样本放进数据集。threshold是API-specific的。细节见原文及Appendix A。
2. 主实验结果
LAMA评估标准略总之LM是应用于left-to-right模式以及对多token场景评估准确率用的不是完全匹配。
求解数学题用模型生成的结果中的第一个数字
QA本文提及希望与搜索内容互动。啊这个思路感觉很多新模型已经实现了……
跨语言QA
带时间信息的数据集
LM
3. 模型分析
1. Scaling Laws
用GPT-2系列来分析模型具不具有scaling laws
2. 解码策略
top-k里的那个k
3. 数据质量
检验API返回结果的有效性 (2022 ACL) Internet-Augmented Dialogue Generation (2022 谷歌) Re69读论文 LaMDA: Language Models for Dialog Applications ↩︎ PAL: Program-aided Language Models ↩︎ TALM: Tool Augmented Language Models Internet-augmented language models through few-shot prompting for open-domain question answering ↩︎
