成都网站优化实战,大连企业网站建设模板,网站站开发 流量,自己网站建设要维护系列文章目录
第一章#xff1a;LoRA微调系列笔记 第二章#xff1a;Llama系列关键知识总结 第三章#xff1a;LLaVA模型讲解与总结 文章目录 系列文章目录Llama: Open and Efficient Foundation Language Models关键要点LLaMa模型架构#xff1a;Llama2分组查询注意力 (G…系列文章目录
第一章LoRA微调系列笔记 第二章Llama系列关键知识总结 第三章LLaVA模型讲解与总结 文章目录 系列文章目录Llama: Open and Efficient Foundation Language Models关键要点LLaMa模型架构Llama2分组查询注意力 (GQA) Llama3关键信息 引用 Llama: Open and Efficient Foundation Language Models
关键要点
Meta发布的完全开源的大语言模型参数量从7B到65Bllama只在公开数据集上进行训练但依然取得了强大的性能。LLaMa-13B在许多基准测试中都优于GPT-3175B
GPT-3把模型的参数量扩大到175B并取得了惊人的涌现能力使得后续研究者都相信随着模型参数量的增大模型必将取得更好的性能因此后续的很多工作都放在了扩大大语言模型的参数量级但扩大参数量级真的就是唯一的研究路径了吗我们是不是忽视了数据对模型性能的影响 DeepMind在NeurIPS2022上发表Training Compute-Optimal Large Language Models论文发现训练最优性能的LLM模型模型的参数量和训练数据规模需要同比增大。因此当我们在相同的计算资源下LLM的性能不仅可以通过增加参数量来实现性能提升也可以通过提升数据量来提升因此数据也参数量级同样重要。 但如果从推理成本考虑大部分用户是不需要自己训练LLM的只是用LLM进行推理就可以了因此考虑推理的性能小参数的LLM是更加友好的LLaMa 沿着小 LLM 配大数据训练的指导思想训练了一系列性能强悍的语言模型参数量从 7B 到 65B。例如LLaMA-13B 比 GPT-3175B小10倍但是在大多数基准测试中都优于 GPT-3。大一点的 65B 的 LLaMa 模型也和 Chinchilla 或者 PaLM-540B 的性能相当。
LLaMa模型架构
与GPT等生成模型类似LLaMA也只使用了Transformer的解码器Pre-normalization为了提高训练稳定性LLaMa 对每个 Transformer 的子层的输入进行归一化而不是对输出进行归一化。使用 RMSNorm归一化函数。SwiGLU激活函数Rotary Embedding LLaMa 去掉了绝对位置编码使用旋转位置编码
Llama2
预训练语料库的大小增加了 40%模型的上下文长度翻倍并采用了分组查询注意力。发布了 7B、13B 和 70B 参数的 Llama 2 变体
与 Llama 1的主要架构差异包括增加上下文长度和分组查询注意力 (GQA)
分组查询注意力 (GQA)
增加上下文长度比较好理解简单的在训练前规定了最大上下文长度为4096本文主要介绍LLaMA2中改进的注意力机制。
MHAMulti-Head Attention输入数据分成多个头每个头独立进行注意力计算每个head完成QKV计算后进行相加输出。MQAMulti-Query AttentionQ仍然是多头的KV是共享的举例来说以ChatGLM2-6B为例一共28层32个注意力头若采用MHA则Q、K、V矩阵各有28×32个而采用MQA的方式则整个模型包含28×32个Q矩阵28×1个K矩阵28×1个V矩阵。这种方法在提高推理效率的同时也能够保持模型的性能。GQAGroup-Query AttentionQ仍然是多头的KV是分组共享的减少了KV缓存所需要的缓存空间同时也避免了参数减少导致的精度损失严重在参数和精度两方面进行了平衡。
Llama3
关键信息 2024年4月Meta 重磅推出了Meta Llama 3大语言模型 从模型架构上看LLaMA 3和LLaMA 2基本没有区别同样使用了Transformer的Decoder-only架构 Llama 3在超过15T的token上进行预训练所有数据都来自公开可用的来源。我们的训练数据集比用于Llama 2的数据集大了七倍并且包括了四倍的代码。为了准备即将到来的多语言用例超过5%的Llama 3预训练数据集由高质量的非英语数据组成覆盖了超过30种语言。然而我们不期望在这些语言中达到与英语相同的性能水平。
引用
LLaMa系列模型详解原理介绍、代码解读LLaMa LLaMa系列模型详解原理介绍、代码解读LLaMA 2 LLaMa系列模型详解原理介绍、代码解读LLaMA 3
