seo搜索优化工程师招聘,自动优化句子的软件,怎么做网站内容调研,建设网站公司兴田德润在哪儿Representation Learning with Contrastive Predictive Coding
摘要 这段文字是论文的摘要#xff0c;作者讨论了监督学习在许多应用中取得的巨大进展#xff0c;然而无监督学习并没有得到如此广泛的应用#xff0c;仍然是人工智能中一个重要且具有挑战性的任务。在这项工作…Representation Learning with Contrastive Predictive Coding
摘要 这段文字是论文的摘要作者讨论了监督学习在许多应用中取得的巨大进展然而无监督学习并没有得到如此广泛的应用仍然是人工智能中一个重要且具有挑战性的任务。在这项工作中作者提出了一种通用的无监督学习方法用于从高维数据中提取有用的表示被称为“对比预测编码”Contrastive Predictive Coding。 该模型的关键思想是通过使用强大的自回归模型在潜在空间中预测未来从而学习这些表示。作者使用了一种概率对比损失通过负采样使潜在空间捕获对预测未来样本最有用的信息。而大多数先前的工作都集中在评估特定模态的表示上作者展示了他们的方法能够学习到在四个不同领域取得强大性能的有用表示包括语音、图像、文本以及在3D环境中的强化学习。
Introduction 这段文字的主要思想是通过使用分层可微模型我们可以在一个端到端的框架中从标记数据中学习到高级别的表示而无需手动指定特征。这种方法在现实世界的多个应用中取得了显著的进展但仍然面临一些挑战例如数据效率、鲁棒性和泛化能力等方面的问题。这表明尽管已经取得了成功但在人工智能领域仍然需要进一步的研究和创新以克服这些挑战并推动领域的发展 为了更好地适应各种任务表示学习需要通过无监督学习获得一些不那么专门化的特征。这可以提高表示的泛化能力使其在不同领域和任务中都能表现良好。通过无监督学习模型可以更好地捕捉数据中的共性和潜在结构从而产生更具通用性的特征表示。这对于构建更鲁棒和通用的人工智能系统至关重要 这段文字强调了尽管无监督学习的重要性但迄今为止尚未出现类似于监督学习的突破从原始观测中建模高层次表示仍然是困难的。此外什么是理想的表示形式并不总是明确的以及是否可能在没有额外监督或专门针对特定数据模态的情况下学习这样的表示形式也是不确定的。 尽管监督学习取得了显著的进展但无监督学习在建模高层次表示方面仍然面临挑战。从原始观测中学习到有意义且可传递的表示形式是一个复杂的问题且尚未实现类似于监督学习领域的显著突破。此外关于理想的表示形式是什么的问题也没有清晰的答案以及是否可能在没有额外监督或专门化到特定数据模态的情况下学习这样的表示形式仍然是未解之谜。 这段文字介绍了一种常见的无监督学习策略即预测未来、缺失或上下文信息。这种预测编码的思想[5, 6]是信号处理中用于数据压缩的最古老的技术之一。在神经科学中预测编码理论表明大脑在各个抽象层次上预测观察结果[7, 8]。最近的无监督学习工作成功地利用了这些思想通过预测相邻单词来学习单词表示[9]。对于图像预测从灰度图像中的颜色或图像块的相对位置也被证明是有用的[10, 11]。作者提出的假设是这些方法在一定程度上是成功的部分原因是我们预测相关值的上下文往往在条件上依赖于相同的共享高级潜在信息。通过将这视为一个预测问题我们自动地推断出这些特征对于表示学习是感兴趣的。 在这篇论文中我们提出了以下方法首先我们将高维数据压缩成一个更紧凑的潜在嵌入空间这样条件预测就更容易建模。其次我们在这个潜在空间中使用强大的自回归模型以预测未来多个时间步。最后我们依赖于噪声对比估计[12]作为损失函数类似于在自然语言模型中学习单词嵌入所使用的方式使整个模型可以端到端地进行训练。我们将得到的模型 Contrastive Predictive Coding (CPC) 应用于广泛不同的数据模态包括图像、语音、自然语言和强化学习并展示了相同的机制在每个领域学到了有趣的高层信息胜过了其他方法
2 Contrastive Predicting Coding
首先通过提出动机和解释方法的直觉来引导读者。接下来介绍了 Contrastive Predictive Coding (CPC) 的架构。之后解释了基于噪声对比估计的损失函数。最后对与 CPC 相关的研究进行了讨论。
2.1 Motivation and Intuitions
这段文字解释了论文模型背后的主要直觉。该模型的主要目的是学习表示这些表示编码了高维信号不同部分之间的共享信息。同时它舍弃了更本地的低级信息和噪声。在时间序列和高维建模中利用下一步预测的方法可以利用信号的局部平滑性。然而当预测更远的未来时共享信息的量变得更低模型需要推断更全局的结构。这些跨足多个时间步的“慢特征”[13]通常更加有趣例如语音中的音素和语调图像中的对象或书籍中的故事线。
简而言之该模型的直觉是通过学习对信号不同部分之间的共享信息进行编码从而捕获信号中的高级、全局结构。这使得模型能够在处理时间序列和高维信号时更好地理解慢变化的特征从而提高其对复杂数据的表达能力
这段文字探讨了在预测高维数据时面临的挑战之一。作者指出对于高维数据像均方误差和交叉熵这样的单模损失并不是很有用。通常需要强大的条件生成模型来重构数据中的每一个细节。然而这些模型在计算上很昂贵并且浪费计算能力来建模数据 x 中的复杂关系通常忽略上下文 c。例如图像可能包含数千位的信息而高级潜在变量例如类别标签包含的信息要少得多对于 1,024 个类别只有 10 位信息。这表明直接建模 p(x|c) 可能不是在提取 x 和 c 之间的共享信息方面最优的方法。在预测未来信息时作者相反地将目标 x未来和上下文 c现在编码成紧凑的分布式向量表示通过非线性学习映射以最大程度地保留原始信号 x 和 c 之间的互信息定义为
2.2 Contrastive Predictive Coding 非线性编码器 (Non-linear Encoder - genc): 首先一个非线性编码器 genc 将输入序列的观测 xt 映射到潜在表示序列 zt genc(xt)。这里的潜在表示可能具有较低的时间分辨率。 自回归模型 (Autoregressive Model - gar): 接下来一个自回归模型 gar 对潜在表示序列 z≤t 进行总结并生成上下文潜在表示 ct gar(z≤t)。这个上下文表示将包含关于序列过去的信息为模型提供了一种处理时间动态的方式 自回归模型 (Autoregressive Model - gar): 接下来一个自回归模型 gar 对潜在表示序列 z≤t 进行总结并生成上下文潜在表示 ct gar(z≤t)。这个上下文表示将包含关于序列过去的信息为模型提供了一种处理时间动态的方式 这段文字表明与其直接使用生成模型 pk(xtk|ct) 预测未来观测 xtk作者选择建模一个密度比率该密度比率保留了 xtk 和 ct 之间的互信息参见方程1。具体细节将在接下来的子节中进一步讨论。 这个选择的思路是通过建模密度比率来间接地捕捉 xtk 和 ct 之间的关系而不是直接对未来观测进行生成性建模。密度比率的建模可能有助于更有效地学习共享信息以及在无监督学习任务中更好地推断序列的结构。接下来的子节可能会提供关于如何计算密度比率以及为什么这是一种有效的方法的更多详细信息 通过引入密度比率并且使用编码器推断潜在表示避免模型对高维数据分布直接进行建模的问题。这样的方法可以使得模型利用采样技术 这段文字说明在提出的模型中zt 和 ct 中的任何一个都可以用作下游任务的表示。如果来自过去的额外上下文有用可以使用自回归模型输出 ct。一个例子是语音识别其中 zt 的感受野可能不包含足够的信息来捕捉语音内容。在其他情况下如果不需要额外的上下文可能使用 zt 会更好。如果下游任务需要整个序列的一个表示例如图像分类可以在所有位置上对 zt 或 ct 的表示进行池化。 最后注意在提出的框架中可以使用任何类型的编码器和自回归模型。为了简化作者选择了标准的架构例如用于编码器的带有 ResNet 块的步幅卷积层以及用于自回归模型的 GRUs [17]。更近期的自回归建模进展如带有掩码卷积结构的架构[18, 19]或自注意力网络[20]可能有助于进一步提高结果。这强调了该框架的灵活性可以根据任务需求选择适当的编码器和自回归模型结构。
2.3 InfoNCE Loss and Mutual Information Estimation 编码器和自回归模型都经过联合训练以最大程度地优化基于噪声对比估计NCE的损失我们将其称为 InfoNCE。给定一个包含来自 p(xtk|ct) 的一个正样本和 N-1 个来自“提议”分布 p(xtk) 的负样本的 N 个随机样本的集合 X {x1, . . . xN}我们进行优化 在这个优化过程中目标是最大化正样本的概率同时最小化负样本的概率。这种训练方法基于噪声对比估计的理念通过引入负样本模型被迫学习区分正样本和负样本从而更好地捕捉数据中的结构和共享信息 Equation 4中的损失是分类正样本的交叉熵其中 fk_p_X 是模型的预测。让我们将这个损失的最优概率表示为 p(d i|X, ct)其中 [d i] 是指示符表示样本 xi 是“正样本”。样本 xi 是从条件分布 p(xtk|ct) 而不是提议分布 p(xtk) 中抽取的概率可以推导如下
2.4 Related Work CPCContrastive Predictive Coding是一种新的方法它将预测未来观测预测编码与概率对比损失Equation 4结合起来。这使得我们能够提取慢特征即在长时间范围内最大化观测之间的互信息。对比损失和预测编码以前分别以不同的方式被使用我们现在将讨论它们的用途。 预测编码 (Predictive Coding): 预测编码是一种思想它建议通过预测输入数据的未来状态来学习有关数据的表示。这种方法基于对观测数据的未来状态进行建模从而使模型能够捕捉数据中的关系和结构。在 CPC 中预测编码的思想被应用于学习有用的表示。 概率对比损失 (Probabilistic Contrastive Loss): 概率对比损失是一种损失函数用于训练模型以区分正样本和负样本。在 CPC 中作者使用概率对比损失来优化模型以使模型更好地理解观测数据中的共享信息。 将这两种思想结合在一起CPC 通过预测编码的方式学习潜在表示并通过概率对比损失进行优化从而使模型能够在长时间范围内捕捉数据的慢特征。这种方法的结合提供了一种有效的方式来学习有用的表示尤其是在无监督学习任务中。 对比损失函数在过去被许多作者广泛使用。例如[21, 22, 23] 提出的技术是基于三元损失采用最大间隔方法来区分正例和负例。更近期的工作包括 Time Contrastive Networks [24]该方法提出最小化同一场景多个视点的嵌入之间的距离同时最大化从不同时间步提取的嵌入之间的距离。在 Time Contrastive Learning [25] 中对比损失用于预测多变量时间序列的段标识作为提取特征和执行非线性 ICA 的一种方式。 这些先前的工作表明对比损失函数是一种强大的方法用于学习数据中的表示并区分正例和负例。不同的对比损失函数可以在不同的任务和数据领域中发挥作用这也突显了其灵活性和通用性。在 CPC 中对比损失被用于预测未来观测以最大化共享信息的提取从而使模型更好地理解数据中的结构
4 Conclusion
在这篇论文中我们介绍了Contrastive Predictive CodingCPC这是一个用于提取紧凑潜在表示以编码对未来观测的预测的框架。CPC结合了自回归建模和噪声对比估计结合了预测编码的直觉以无监督的方式学习抽象表示。我们在多个领域进行了这些表示的测试音频、图像、自然语言和强化学习并在作为独立特征使用时取得了强大或最新技术水平的性能。训练模型的简单性和低计算需求以及在与主要损失结合使用时在具有挑战性的强化学习领域取得的令人鼓舞的结果都是朝着通用适用于更多数据模态的有用无监督学习的发展的积极进展。
