媒体代发网站,邢台网络运营中心处理中心,织梦文章title怎么显示网站title,wordpress41 大模型
1.1 大模型的顿悟时刻
Emergent Abilities of Large Language Models#xff0c;Transactions on Machine Learning Research 2022
模型的效果不是随着模型参数量变多而慢慢变好#xff0c;而是在某一个瞬间#xff0c;模型“顿悟”了 这边举的一个例子是#…1 大模型
1.1 大模型的顿悟时刻
Emergent Abilities of Large Language ModelsTransactions on Machine Learning Research 2022
模型的效果不是随着模型参数量变多而慢慢变好而是在某一个瞬间模型“顿悟”了 这边举的一个例子是比如让模型回答鸡兔同笼问题 一开始小模型什么都学不到故而效果不好 随着模型参数量增大模型慢慢地会一定地推导了但是还是得不到正确的推导结果——此时仍然不得分只有当参数量达到某一个数值之后不仅会推导还得到了正确的答案——此时才得分 1.2 inverse scaling prize U shape
Inverse scaling can become U-shaped 2022 大部分任务是随着模型的变大效果越来越好那么有没有某些任务/问题是模型变大效果反而变差的呢 答案是有的这里列了一些 但是真的是模型参数量变大模型表现反而不好嘛 于是这篇论文进一步扩大模型参数量发现模型表现跌到一定程度后还是会涨精度 ——在这些任务中performace 和参数量的关系是U shape的 而这种带Ushape的任务这篇论文认为大多数是“带陷阱干扰项”的问题。当模型稍微获得一点能力的时候就很有可能陷入这个陷阱中。但模型参数量进一步扩大就会知道这是个“陷阱”从而找到正确的答案 大资料
2.1 两种认知
When Do You Need Billions of Words of Pretraining Data? 2020 语言模型一般需要两种认知
一种是对语言本身语法、文法的认知深蓝色曲线 这一部分不需要很多的语料有一些资料供学习就够了另一种是对语言背后世界运行规律的认知 这一部分就需要大量的语料喂入了
2.2 数据处理 Scaling Language Models: Methods, Analysis Insights from Training Gopher 2021 如何收集这些资料呢 过滤有害内容比如黄色、暴力的内容去除HTML tag 从网站上爬资料的话会有很多无用的HTML 语言但是也不是所有的HTML tag都去掉会保留一些如换行符等有用的知识quality filtering 在论文中有详细的规则介绍了如何去除低品质资料去除重复资料 后面会有论文专门说重复资料的影响test-set filter 需要把用来测试的那一部分语料去掉不然就相当于提前学了这一部分内容导致测试结果不准
2.3 重复数据的影响 Deduplicating Training Data Makes Language Models Better 2021 比如如上的语料库中中间这一段话出现了6W多次 我们分不同的层级去除掉语料库中重复的部分然后喂入语言模型让语言模型随便说一段话。 将这一段话和语料库进行对比看看模型是学习了语料库中的内容生成了新的语句还是仅仅死记硬背了语料库中的内容表格中的数字就是有多少比例生成的语句是和语料库中的语句极为相似可以发现如果语料库中重复的语句过多机器很容易直接复述之前的内容 2.4 固定的计算资源下应该更大的模型还是更多的资料 Training Compute-Optimal Large Language Models 2022 每一条虚线都表示具有相同的运算资源纵轴表示预测的效果Loss越小表示预测的越好横轴表示模型参数量可以看到 小模型大资料 和 大模型小资料 效果都不如一个折衷的配置 小模型大资料看了很多资料 但是不学习学而不思大模型小资料思而不学 于是论文把所有计算资源配置下的各个U型曲线的最低点找到然后进行外推得到一个和Gopher计算资源一样的情况下模型参数和资料的最佳配置组合命名为Chinchilla 可以发现Chinchilla几乎完胜
