如何建立公司网站是什么,新野微网站开发,做网站公司推荐,建网站做联盟代码地址#xff1a;github地址传送
文章是基于MMIN的改进 - MMIN传送
abstract
多模态情感识别利用跨模态的互补信息来获得性能。然而#xff0c;我们不能保证所有模式的数据总是存在于实践中。在跨模态数据缺失预测研究中#xff0c;异质性模态之间的固有差异即模态…
代码地址github地址传送
文章是基于MMIN的改进 - MMIN传送
abstract
多模态情感识别利用跨模态的互补信息来获得性能。然而我们不能保证所有模式的数据总是存在于实践中。在跨模态数据缺失预测研究中异质性模态之间的固有差异即模态差距是一个挑战。为了解决这个问题我们提出在缺失模态想象网络IF-MMIN中使用不变特征该网络包括两个新的机制1)全模态场景下基于中心矩差异CMD距离的不变特征学习策略2)利用基于不变特征的想象模块IF-IM来缓解缺失模态预测过程中的模态差距从而提高多模态联合表示的鲁棒性。在IEMOCAP基准数据集上的综合实验表明该模型优于所有基线并在不确定缺失模态条件下不断提高整体情绪识别性能。
intro
缺失模态的多模态情感识别研究寻求在现实环境中进行情感识别[1,2]其中一些数据可能由于摄像机遮挡麦克风损坏等而丢失。模态缺失问题的主流解决方案可以概括为两类
1)缺失数据生成[3-5]
2)多模态联合表示学习[6,7]。
在[3]中提出了一个编码器-解码器网络来生成。在[7]中研究了一种基于循环一致性损失的翻译方法来学习模态之间的联合表示。在[1]中研究了一种缺失模态想象网络Missing Modality Imagination Network简称MMIN通过预测缺失模态来学习联合表征该网络结合了上述两种方法。异构模态之间的模态差距[8 - 10]仍然是一个问题它对情绪识别的准确性产生不利影响。问题是如何缩小这种形态差距。虽然模态有其独特的特征但它们在语义空间中共享相同的信息。将模态不变特征引入到全模态数据的多模态情感识别中取得了显著的效果。Hazarika等[8]提出了共享子空间来学习模态之间潜在的共性以减少模态差距的影响。Liu等[11]提出了离散共享空间来捕获细粒度表示以提高跨模态检索的准确性。所有的研究都表明情态不变特征有效地弥补了情态差异。我们注意到在缺失情态条件下没有相关的情感识别工作。
在这项工作中我们提出了一个具有不变特征的缺失模态想象网络IF-MMIN。具体来说我们首先使用基于中心矩差异CMD距离[12]的约束训练策略来学习各种模态之间的模态不变特征。然后我们设计了IF-MMIN神经结构从可用模态中预测缺失模态的不变特征。
本工作的主要贡献有
1)提出了一种基于cmd的距离约束训练方法来学习全模态间的模态不变性
2)在跨模态想象过程中引入不变特征减少模态差距的影响增强多模态联合表示的鲁棒性
3)在各种缺失模态条件下的实验结果表明所提出的IF-MMIN在缺失模态情况下具有准确的情感识别性能
方法
提出的IF-MMIN方案首先在全模态信号下采用基于中心矩差异CMD距离的不变特征学习策略学习模态特定特征和模态不变特征在IF-MMIN训练过程中IF-IM读取这两个特征通过缺失模态想象学习鲁棒联合表示
CMD基于距离的不变特征学习 图1基于中心矩差异CMD距离的不变性特征学习管道包括特异性和不变性编码器以及分类器。红色箭头表示基于cmd的距离约束以强制各种模态特征映射到相同的语义子空间。
如图所示不变特征学习管道包括三个模块特异性编码器、不变性编码器和分类器。特异性编码器旨在提取高级特征从原始特征来表示模态特定的特征。不变性编码器以模态特定特征作为输入提取模态不变特征H该特征由高级特征(Ha高压;在所有形式中。最后基于全连接层的分类器输入h和h的连接来预测情感类别。在修饰之后我们将采用预训练的特异性和不变性编码器以及提出的IF-IM模块来构建IF-MMIN架构 QCMD是什么距离约束体现在哪里 ACMD中央矩差异是一种用于衡量两个概率分布之间差异的距离度量方法。它通过比较两个分布的各阶中心矩评估它们在统计特性上的差异从而量化分布之间的距离。 CMD距离约束用于模态不变特征学习其目的是通过最小化不同模态特征分布之间的差异学习到模态不变的表示使得模型在处理多模态数据时更加鲁棒。 对于每个模态使用模态特异编码器提取高级特征将所有模态的特异性特征输入模态不变性编码器得到模态不变特征接着对于任意两个模态计算它们的CMD损失总的CMD损失为所有模态对之间CMD损失累加。 特异性和不变性编码器
如图1中蓝色块所示特异性编码器由三个模块组成声学、视觉和文本编码器分别简称Enca、Encv和Enct。具体来说利用LSTM[13]和max-pooling层从原始特征中提取出话语级声学特征。与具有类似的结构读取原始特征并输出话语级视觉特征。采用了NLP领域的一种功率文本表示模型TextCNN[14]从原始特征中提取出话语级文本特征。
不变性编码器如图1中绿色块所示由全连接层、激活函数和dropout层组成。它的目的是映射特定于模态的特性利用基于cmd的距离约束策略如图1中红色箭头所示将其放入共享子空间中获得高级特征。然后我们将三个高级特征连接到模态不变特征H中。
基于cmd的距离约束
基于cmd的距离约束旨在减少高层特征之间的差异。请注意CMD[12]是一种最先进的距离度量它通过匹配两个特征的顺序矩差来测量两个特征分布之间的差异。我们确保模态不变表示可以通过最小化来学习 其中E(H)是输入样本H的经验期望向量是H坐标的所有k阶样本中心矩的向量。 Q这个损失怎么理解 AEH计算的是特征H的期望向量代表了一阶中心矩CkH代表的是特征H的第k阶中心矩向量由公式计算得。 一阶中心矩的差异目的是测量不同模态间特征的平均值差异对于每一对模态m1和m2计算它们的特征向量的均值之差L2范数并求和系数1/3是用来平衡不同阶数中心矩对损失函数的贡献防止高阶矩对损失函数的影响过大。 2阶及以上中心矩的差异目的是比较不同模态间的特征分布形状如离散度、偏度和峰度等。对于每一对模态m1和m2计算它们从第二阶到第k阶中心矩的差异的L2范数并求和。阶数K的选择依赖于分析的深度较大的K能够捕获更复杂的分布特性但计算成本也更高。 IF-MMIN Training (a)表示IF-MMIN的整体架构蓝色锁表示其参数在IF-MMIN训练期间是固定的(b)显示了模态不变特征感知想象模块的详细结构 IF-MMIN的整体架构如图2(a)所示其中包括
1)特异性编码器
2)不变性编码器
3)模态不变特征感知想象模块简称IFIM
4)分类器。
假设全模态输入为。
特异性编码器需要其中miss表示特定缺失的模态作为提取模态特定特征的输入然后将其连接为最终输出h。不变性编码器读取来预测模态不变特征 是高级特征。然后将h和融合到IF-IM中以预测缺失模态的特征。然后将IF-IM的所有中间层的隐藏特征组合在一起作为联合表示C如图2(b)所示以预测最终的情绪类别o。为了确保IF-MMIN中模态不变特征预测和缺失模态想象过程的稳定性在分类损失Classification Loss, Lcls的基础上增加想象损失imagination Loss, Limg和不变性损失Invariance Loss, Linv。请注意专用性和不变性编码器的参数由2.1.1节中提到的相应模块初始化。
不变特征感知想象模块IF-IM
如图2(b)所示IF-IM是用级联自编码器构建的其中包括M个自编码器。与[1]不同的是IF-IM同时读取。此外是给予每个自编码器的级联输入以辅助缺失的模态想象并缓解模态间隙问题。
每个自编码器记为。则每个自编码器的计算可定义为 其中∆zi为第i个自编码器的输出。IF-IM的想象缺失模态可定义为。 Q他和MMIN想象模块有什么区别 AMMIN的想象模块 区别在于IF-IM同时读取了h和H而MMIN只读取了h 虽然IF-IM和传统的MMIN都使用自编码器结构IF-IM通过其独特的级联和累加策略提供了对模态缺失更为精细和准确的处理方式。 损失函数
在IF-MMIN训练过程中使用分类损失来监督具有情感类别目标的训练: 。更重要的是想象损失用于最小化IF-IM输出与缺失模态的模态特定特征之间的距离而不变性损失旨在迫使全模态信号的预测模态不变特征与目标模态不变特征相互接近。 实验与结果
我们在交互式情绪二元动作捕捉IEMOCAP数据集上验证了IF-MMIN[15]。接下来[1]我们将IEMOCAP情绪标签处理为四类快乐、愤怒、悲伤和中性。训练集/验证集/测试集的分割比例为8:1:1。
实验装置 具体编码器Enca和Encv的隐藏大小设置为128Enct包含3个卷积块内核大小分别为3、4、5输出大小为128。不变性编码器Enc0输出的大小H为128。IF-IM由5个自动编码器组成大小为384-256-128-64-128-256-384其中隐藏向量大小为64。分类器包括3个完全连接的层大小分别为{128,128,4}。由于的值比小得多约1%我们将λ1设为1λ2设为100以平衡数值差异提升在总损失中的重要性。批大小为128dropout rate为0.5。我们采用Adam优化器[18]其动态学习率为0.0002初始学习率为0.0002并使用Lambda LR[19]更新学习率。
我们进行了所有实验包括不变特征学习和IF-MMIN训练并进行了10次交叉验证其中每一次交叉验证包含40个epoch。为了证明模型的鲁棒性我们将每个模型运行三次以减轻参数随机初始化的影响。我们在验证集上选择最佳模型并在测试集上报告其性能。所有模型都使用Pytorch深度学习工具包实现并在单个NVIDIA Tesla P100显卡上运行。
对比实验
我们开发了三种多模态情绪识别系统进行比较研究。
1) MCTN[7]通过缺失模态和可用模态之间的循环转换来学习联合表示
2) MMIN[1]是缺失模态问题的最先进模型它通过自编码器和循环一致性学习通过跨模态想象学习联合表示
3) MMIN w/o cycle[1]去掉了MMIN的循环一致性学习部分只保留了前向缺失模态想象过程这与我们的IFMMIN相当
不确定缺失情态的主要结果
为了在不同的缺失模态测试条件下验证我们的IF-MMIN[1]我们报告了加权精度WA[20]和非加权精度UA[21]的所有结果。 如表1的第2行到第5行所示我们的IFMMIN在所有缺失模态测试条件下达到了最高的平均值。对于每个条件IF-MMIN也优于所有基线除了条件fag和fvg其中它与最佳基线相当。可能的原因是文本模态比听觉和视觉模态包含更多的语义信息[22]。综上所述所有结果表明IF-MMIN可以学习稳健的多模态联合表示通过引入模态不变特征来缓解模态差距从而在不同的缺失模态测试条件下取得了显著的性能。
消融实验
IF-MMIN利用不变特征并添加不变性损失来增强缺失模态的想象IF-IM采用级联输入的不变特征。
为了验证他们的贡献我们进行了以下消融实验
1)在IF-MMIN训练过程中丢弃了Linv。
2) IF-MMIN w/o级联输入系统仅将作为IF-IM中第一个自编码器的输入而不是每个自编码器的输入。
从表1的第5 ~ 7行可以看出IF-MMIN在大多数情况下也优于IF-MMIN w/o Linv和IF-MMIN w/o级联输入这证实了1)IF-MMIN的不变性编码器可以在Linv约束下准确预测不变性特征从而更好地服务于IF-IM2)级联输入可以提供自编码器各层工作时的先验知识确实增强了IF-IM的想象能力。
可视化分析
不变特征学习的准确性是IF-MMIN正常工作的前提。因此为了验证不变特征学习相关模块、的作用我们对IF-MMIN进行了如下可视化实验。 不变性特征的可视化分析与Linv。 (a)为所有六种缺失模态条件下预测模态不变特征H’分布的t-SNE图。 (b)表示IF-MMIN训练过程中Linv的收敛轨迹。x轴表示迭代次数y轴表示损失值。 我们使用t-SNE算法在二维平面上可视化六种缺失条件下的[23]如图3(a)所示。我们从测试集中随机抽取600个句子每个条件100个句子提取600个不变特征H0。因此有600点在
图3(a)每种颜色100个点。观察到在各种条件下所有的H0在特征分布上都形成了一个清晰的聚类这是令人鼓舞的。图3(b)为IF-MMIN训练过程中Linv的收敛轨迹其中x轴表示历元y轴表示损失值。图中光滑的曲线表明H0和H在训练过程中非常接近从而进一步证明了Linv的有效性。由于H是在Lcmd约束下学习的所以也证明了Lcmd的有效性。
conclusion
本文研究了一种新的不变特征感知多模态情感识别模型IF-MMIN该模型包括基于cmd的基于距离的不变特征学习和不变特征感知缺失模态想象模块IF-IM。通过利用不变性特征我们的IF-MMIN可以缓解模态差距提高多模态联合表示的鲁棒性。在IEMOCAP上的实验结果表明在各种缺失模态条件下所提出的IF-MMIN优于初始基线。在未来的工作中我们将探索进一步改进不变特征学习的方法。
