和百度一样的网站,自贡企业网站,做网站交互效果用什么软件,自助建设网站软件大模型微调 - 用PEFT来配置和应用 LoRA 微调
flyfish
PEFT#xff08;Parameter-Efficient Fine-Tuning#xff09;是一种参数高效微调库#xff0c;旨在减少微调大型预训练模型时需要更新的参数量#xff0c;而不影响最终模型的性能。它支持几种不同的微调方法#xff…大模型微调 - 用PEFT来配置和应用 LoRA 微调
flyfish
PEFTParameter-Efficient Fine-Tuning是一种参数高效微调库旨在减少微调大型预训练模型时需要更新的参数量而不影响最终模型的性能。它支持几种不同的微调方法如 LoRALow-Rank Adaptation、Prefix Tuning、Adapter 等。这里PEFT 被用来配置和应用 LoRA 微调。LoRA 是一种降低预训练模型微调时参数更新数量的方法通过在 Transformer 层的某些投影矩阵上引入低秩分解减少参数量并且只需微调这些低秩矩阵。
from peft import LoraConfig, TaskType, get_peft_model# 定义 LoRA 的配置参数
config LoraConfig(task_typeTaskType.CAUSAL_LM, # 指定任务类型为自回归语言建模任务Causal Language Modeling如 GPT 系列的模型target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], # 这些是模型中要应用 LoRA 的目标模块inference_modeFalse, # 表示训练模式设置为 True 时是推理模式为 False 是训练模式r8, # LoRA 的秩 r代表分解时矩阵的秩越大越能保留原有的模型信息但计算复杂度也会增加lora_alpha32, # LoRA 的 alpha 超参数控制了低秩矩阵的缩放因子。一般设置为与 r 成比例的值lora_dropout0.1, # 在 LoRA 模块中应用 Dropout防止过拟合防止微调时模型过拟合到训练数据
)# 应用 PEFTLoRA到预训练的模型上
model get_peft_model(model, config) # 使用 get_peft_model 函数将定义好的 LoRA 配置应用到预训练模型中解释
task_typeTaskType.CAUSAL_LM : 指定任务类型为自回归语言模型常见于 GPT 系列的生成任务。PEFT 支持不同的任务类型如问答Question Answering、序列到序列任务Seq2Seq LM等。
target_modules : 这是模型中应用 LoRA 的模块列表。对于 Transformer 模型这些模块通常是负责自注意力计算的部分如 q_projquery projection、k_projkey projection、v_projvalue projection、o_proj输出投影等。
inference_modeFalse : 该参数指定模型是否处于推理模式。如果设为 True表示模型在推理时使用冻结的 LoRA 权重如果为 False表示模型处于训练模式可以继续微调 LoRA 层。
r8 : LoRA 中的秩 r用于控制低秩矩阵的大小值越大表示模型的表达能力越强但参数量也相应增加。
lora_alpha32 : LoRA 中的缩放因子控制了低秩矩阵的影响力。它常用于放大或缩小 LoRA 矩阵的输出以确保它们在与原始模型输出进行组合时适当的权重。
lora_dropout0.1 : 在 LoRA 层应用 Dropout减少过拟合风险。通过设置 Dropout 概率使得在训练时随机屏蔽部分神经元有助于增强模型的泛化能力。
target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj]在 Transformer 模型中这些 q_proj、k_proj、v_proj、o_proj 等名称表示的是不同的投影矩阵它们主要与模型的 自注意力机制Self-Attention Mechanism 相关。它们用于将输入向量变换为适合进行自注意力计算的表示。 q_projQuery Projection 作用 : 将输入的 token 表示投影到 查询向量Query Vector 。在自注意力机制中模型使用这个向量来与其他 token 的键向量Key进行相似性计算从而决定每个 token 应该关注哪些其他 token。 解释 : 查询向量通常用于表示当前 token 的问题模型会通过查询向量去询问其他 token。 k_projKey Projection 作用 : 将输入的 token 表示投影到 键向量Key Vector 。键向量用于与查询向量进行相似性计算衡量两个 token 之间的相关性。 解释 : 键向量可以被视为表示每个 token 特性的标签通过与查询向量的相似性计算模型判断哪些 token 对当前查询最重要。 v_projValue Projection 作用 : 将输入的 token 表示投影到 值向量Value Vector 。值向量是自注意力机制的输出内容它们会根据键与查询的相似度进行加权平均作为最终的注意力输出。 解释 : 值向量可以看作是包含 token 具体信息的向量模型在计算注意力时最终会根据键-查询的匹配度来加权这些值向量。 o_projOutput Projection 作用 : 将注意力机制的输出即加权后的值向量进一步变换成模型需要的输出形式。自注意力机制的最终结果通过 o_proj 投影返回给模型的下一层或其他模块。 解释 : 输出投影负责整合注意力层的输出并确保其形状和表示适应接下来模型中的其他操作。 gate_projGate Projection 作用 : 这个投影矩阵通常出现在模型中带有 门控机制gating mechanism 的模块中类似于 LSTM 或 GRU 中的门控单元。它用于调节信息的流入或流出决定哪些信息需要保留或丢弃。 解释 : 在一些模型中特别是经过改进的 Transformer 结构里可能加入了门控机制用于更灵活地控制信息的流动。gate_proj 负责这个过程。 up_proj 和 down_proj 作用 : 这些通常是在模型中进行 上采样up-sampling 和 下采样down-sampling 的操作用来调整表示的维度。这些投影矩阵负责在不同的层或模块之间转换表示的维度类似于提升或降低特征维度的操作。 up_proj : 增大向量的维度上采样。 down_proj : 减少向量的维度下采样。
补充
在理解 LoRALow-Rank Adaptation时涉及到的一些关键概念如矩阵的秩、投影矩阵、低秩分解和低秩矩阵都是线性代数中的核心概念。 矩阵的秩Rank of a Matrix 定义 : 矩阵的秩表示矩阵中独立行或独立列的最大数量简单来说它是矩阵的行或列向量的线性独立的数目。秩表示一个矩阵可以表示的维度或自由度。 解释 : 矩阵的秩越大意味着它包含的信息越多。如果一个矩阵的秩等于其行数或列数它是“满秩”的意味着这个矩阵不能通过更小的维度来表示。反之秩较低的矩阵可以通过更小的维度来表示称为低秩矩阵 。 例如一个 3×3 的矩阵如果秩为 3它是满秩矩阵如果秩为 2 或更小它是低秩矩阵意味着该矩阵存在冗余信息可以被压缩。 投影矩阵Projection Matrix 定义 : 投影矩阵是将一个向量投影到某个子空间的矩阵。它可以用来把高维度的数据投影到一个较低维度的子空间上。 解释 : 例如在机器学习和自然语言处理中投影矩阵常用于将输入的向量表示从一个空间如词向量的维度转换到另一个空间。投影矩阵可以应用于自注意力机制中的 query查询、key键和 value值等向量将它们映射到一个新的向量空间。 在 Transformer 模型中q_proj, k_proj, v_proj 这些都是投影矩阵负责将输入序列的 token 表示转换到适合自注意力计算的空间中。 低秩分解Low-Rank Decomposition 定义 : 低秩分解是一种将一个高维矩阵分解为几个低维矩阵的技术通常使用一些线性代数方法如奇异值分解 SVD。通过这种分解可以将一个复杂的矩阵表示成若干个较小的矩阵的乘积从而降低计算复杂度。 解释 : 低秩分解通过降低矩阵的维度减少存储和计算需求。在机器学习中低秩分解常用于减少模型的参数量提高效率。例如在 LoRA 中低秩分解用于将原始的高维投影矩阵分解为两个低秩矩阵分别是 A 和 B这些矩阵的秩比原始矩阵小因此可以大大减少参数的数量。 数学上假设我们有一个大矩阵 W可以通过两个小矩阵 A 和 B 的乘积来近似表示 W ≈ A × B W \approx A \times B W≈A×B 这里 A 和 B 的秩 r 要比 W 的秩小因此称为低秩分解。 低秩矩阵Low-Rank Matrix 定义 : 低秩矩阵是指秩小于其行数和列数的矩阵也就是说它可以通过更小的维度来表示不是“满秩”的。低秩矩阵可以看作是含有冗余信息的矩阵。 解释 : 在机器学习中低秩矩阵被用于减少模型的复杂度因为它们可以用更少的参数来表示一个矩阵。因此低秩矩阵在需要减少计算成本或内存需求的场景下非常有用。 例如在 LoRA 中原始模型中的权重矩阵如 W通常是高秩矩阵但我们可以通过低秩矩阵 A 和 B 来近似表示这个权重矩阵从而在保持模型性能的同时减少需要训练的参数量。
