网站建设最重要的是什么,百度网站介绍显示图片,天元建设集团有限公司承包,龙岩网址大全综合基础
1、讲讲制作一个LLM的流程以及各阶段的作用 2、发现模型性能不好#xff0c;如何从各个阶段去排查问题
查看各阶段中是否有对应训练数据#xff0c;然后再向下排查。预训练
1、Transfomer模型介绍一下 2、讲讲 Q、K、V 3、Transfomer模型中Encoder输出给Decoder的…综合基础
1、讲讲制作一个LLM的流程以及各阶段的作用 2、发现模型性能不好如何从各个阶段去排查问题
查看各阶段中是否有对应训练数据然后再向下排查。预训练
1、Transfomer模型介绍一下 2、讲讲 Q、K、V 3、Transfomer模型中Encoder输出给Decoder的输入参数有哪些
K和V4、讲讲padding的类别和使用举例
有left_padding和right_padding。
GPT会使用 left_padding
BERT会使用 right_padding5、梯度突然消失和突然爆炸如何排查问题
1、考虑激活函数
2、考虑数据
3、考虑学习率等参数6、讲一讲Deepspeed和ZeRO
1、Deepspeed用于高效并行计算支持数据并行 、模型并行和流水线并行等。
2、内存优化技术中引入了ZeROZero Redundancy Optimizer技术通过优化模型状态的存储和通信来大幅减少所需的内存占用。
3、支持混合精度训练。支持同时使用单精度FP32和半精度FP16浮点数进行训练可以在保持模型性能的同时减少内存占用和计算时间。ZeRO通过优化模型状态的存储和通信来大幅减少所需的内存占用使得在有限的内存资源下训练更大规模的模型成为可能。
ZeRO的核心思想是将模型的参数、梯度和优化器状态进行分片并平均分配到所有的GPU中。这样每个GPU只存储一部分数据从而减少了单个设备的内存需求。同时ZeRO还通过动态通信调度在分布式设备之间共享必要的状态以保持数据并行的计算粒度和通信量进一步减少内存占用。
ZeRO提供了多个优化级别包括ZeRO-1、ZeRO-2和ZeRO-3每个级别都在前一个级别的基础上减少更多的内存冗余。例如ZeRO-1主要优化优化器的存储ZeRO-2进一步优化模型参数和优化器状态的存储而ZeRO-3还包括对激活的优化。随着优化级别的提高能够支持的模型大小也随之增加但同时对集群的通信和计算能力要求也更高。SFT阶段
1、如何制作SFT数据 2、如何制作长文数据 3、讲讲正向数据和反向数据制作 4、如何去解决敏感数据问题 5、SFT阶段的目的是什么
1、激发垂直领域知识
2、引导LLM的输出内容的风格、输出形式等等RLHF阶段
1、讲一讲DPO
大模型中的DPODirect Preference Optimization直接偏好优化技术是一种用于将语言模型LM的行为与人类偏好对齐的方法。DPO技术的核心思想是直接优化语言模型以最大化模型生成符合人类偏好的响应的概率。具体来说DPO通过以下步骤实现
1. 标注偏好数据集x, y1, y2
2. 优化语言模型。基于标注的数据集和获取的πref优化语言模型πθ来最小化DPO损失函数。这个损失函数旨在增大偏好响应相较于不偏好响应的log概率同时包含一个动态的、每个样本上的重要性权重以避免模型退化。
3. 避免过拟合。DPO的一个潜在缺点是容易过拟合偏好数据集。为了缓解这个问题可以引入正则化项如身份偏好优化IPO以使模型在训练过程中更加稳定。2、PPO有哪些组件各个组件的作用是什么
1、演员模型目标训练模型
2、评论家模型用于判断演员模型产生的动作未来会获取的总收益有多大。这个模型的参数会被一起更新用于让评判能力也“”与时俱进“”。主要实现是在初始的LLM的最后一层加一个求价值的层。
3、参考模型原始的LLM参数冻结。保证演员模型和最初的模型训练偏差不会太大让模型不被训“歪”。
4、奖励模型判断当前演员模型的动作产生的价值有多大。3、RM的用途是什么
用于打分让LLM对我们想要的数据偏好进行对齐。4、如何训练RM
给RM输入一个价值偏好数据集(x, y1, y2)其中x是输入的数据y1是正向偏好y2是负向偏好。然后更新RM参数让模型给正向偏好打分更多负向偏好打分更低。5、如何对齐LLM 6、PPO过程中有哪些损失函数
1、策略损失函数策略损失函数是PPO算法中用于优化策略网络的主要损失函数。它基于 **新旧策略的概率比例**ratio和 **优势函数** 来计算。
2、价值损失函数价值损失函数用于优化价值网络的参数使其能够更准确地估计给定状态下的未来累积奖励。价值损失函数通常使用均方误差MSE或均方根误差RMSE来计算预测值与真实值之间的差异。7、退火的作用是什么
让训练时梯度更新不会波动太大渐进式的更新8、PPO的目的是什么
用于模型对齐让模型的输出能更符合我们预期的价值偏好RAG
1、讲讲RAG的过程 2、讲讲Encoder是如何制作的 3、使用的Embedding是什么 4、RAG和事实增强结合起来进行讲解
模型推理
1、top-k、top-p、temperature、beam search的作用和效果上的体现 2、对比beam search、top-k、top-p
从效果上来看top-k、top-p的调整要比beam search产生更多的多样性。
