网站制作 手机版,林州网站制作,做淘宝客网站制作教程,江苏国龙翔建设网站.最近在做深度学习#xff0c;里面涉及到很多概念#xff0c;有的名称都差不多容易记混。所以写这篇文章总结一下。眼过千遍不如手过一遍。
1. 轮数#xff08;Epochs#xff09;: 一轮#xff08;Epoch#xff09;指的是整个训练数据集在训练过程中被完整使用一次。…最近在做深度学习里面涉及到很多概念有的名称都差不多容易记混。所以写这篇文章总结一下。眼过千遍不如手过一遍。
1. 轮数Epochs: 一轮Epoch指的是整个训练数据集在训练过程中被完整使用一次。每个 Epoch 包含多个批次batches在每个 Epoch 结束后模型通常会在验证集上进行评估。
2. 步数Steps: 步数Steps通常指的是训练过程中的迭代次数。在每个 Step 中模型进行一次前向传播和后向传播。
3. 批处理大小Batch Size: 批处理大小Batch Size是指每次迭代中用于训练的样本数量。它影响计算资源的利用和模型训练的稳定性。
4. 微批处理大小Micro-batch-size: 微批处理大小是在模型并行或流水线并行中使用的概念指的是在每个 GPU 或每个并行阶段中处理的批次大小。它是批处理大小的进一步划分。
5. 学习率Learning Rate: 学习率是优化算法中用于调整模型权重的步长。它决定了在每次迭代中参数更新的幅度。
6. 训练吞吐量: 训练吞吐量指模型训练过程中单位时间内能够处理的数据量通常以样本/秒或批次/秒来衡量。
7. 加速器内存Accelerator Memory: 加速器内存是专用于支持 GPU 或 TPU 等硬件加速器的高性能计算任务的内存用于存储模型参数、中间计算结果等。
8. 词大小Word-size: 在深度学习中词大小通常指的是模型中词嵌入Word Embedding的维度即表示每个词的向量的长度。
9. 数据并行Data Parallel: 数据并行是一种并行化技术通过将数据集分割成多个批次分配到多个处理器上同时训练以此来加速训练过程。
10. 上下文并行大小Context Parallel Size: 上下文并行大小可能是指在使用特定深度学习框架时如 Megatron-LM 中的设置用于控制跨多个 GPU 分配模型的不同部分的方式。
11. 张量模型并行大小Tensor Model Parallel Size: 张量模型并行大小是指在模型并行中模型的张量如何分配到不同的处理器上。它决定了模型的哪一部分将在不同的 GPU 上计算。
12. 管道模型并行大小Pipeline Model Parallel Size: 管道模型并行大小是指将模型分成多个阶段每个阶段可以并行处理不同的数据微批次从而提高计算效率和资源利用率。
