响应式网站psd尺寸,自己做视频网站的流程,网络营销推广岗位职责,如何运营垂直网站如今的很多研究都表明小模型也能出现涌现能力#xff0c;本文的作者团队通过大量实验发现模型的涌现能力与模型大小、训练计算量无关#xff0c;只与预训练loss相关。
作者团队惊奇地发现#xff0c;不管任何下游任务#xff0c;不管模型大小#xff0c;模型出现涌现能力…如今的很多研究都表明小模型也能出现涌现能力本文的作者团队通过大量实验发现模型的涌现能力与模型大小、训练计算量无关只与预训练loss相关。
作者团队惊奇地发现不管任何下游任务不管模型大小模型出现涌现能力都不约而同地是在预训练loss降低到 2.2 以下后。
在 2.2 之前模型的表现跟一般模型无异。在 2.2 之后模型的性能显著上升。
数学建模
模型涌现能力与预训练loss的关系公式化如下 { f ( L ) if L η 0 otherwise \begin{cases}f(L) \text { if } L\eta \\ 0 \text { otherwise }\end{cases} {f(L)0 if Lη otherwise f ( L ) f(L) f(L) 是个单调递减函数 L L L 越大其值越小。 η \eta η 是个loss阈值比如 2.2 。
预训练loss与模型大小 N N N 关系如下 L ( N ) L ∞ ( N 0 N ) α N L(N)L_{\infty}\left(\frac{N_0}{N}\right)^{\alpha_N} L(N)L∞(NN0)αN
因此涌现能力与模型大小的关系如下 { f ( L ∞ ( N 0 N ) α N ) if N ≥ N 0 ⋅ ( η − L ∞ ) − 1 α N 0 otherwise \begin{cases}f\left(L_{\infty}\left(\frac{N_0}{N}\right)^{\alpha_N}\right) \text { if } N \geq N_0 \cdot\left(\eta-L_{\infty}\right)^{-\frac{1}{\alpha_N}} \\ 0 \text { otherwise }\end{cases} {f(L∞(NN0)αN)0 if N≥N0⋅(η−L∞)−αN1 otherwise
当模型大小超过 N 0 ⋅ ( η − L ∞ ) − 1 α N N_0 \cdot\left(\eta-L_{\infty}\right)^{-\frac{1}{\alpha_N}} N0⋅(η−L∞)−αN1才会出现涌现能力否则与普通模型无异。随着模型尺寸变大预训练loss减少则模型性能提升。
总结
本文从预训练loss角度观察了模型涌现能力是如何发生的。其结论也给业界评估模型在下游任务上的性能提供了全新的视角即预训练loss而不是模型参数量、数据量、训练计算量。
但本文并未从理论角度解释loss与涌现能力的关系更多地是根据后验进行启发式分析也未给出 2.2 的合理说明。但DL一直这么玄学不是吗 参考
Understanding Emergent Abilities of Language Models from the Loss Perspective
