网站制作要多少钱,网站做竞价对seo有影响吗,wordpress 首页顶部为空,厂家招总代理文章目录课程记录核心技术Core Technical Challengesrepresentation表示alignment对齐转换translationFusion融合co-learning共同学习总结Course Syllabus教学大纲个人总结第一周的安排相关连接课程记录
这部分是自己看视频#xff0c;然后截屏#xff0c;记录下来的这部分的…
文章目录课程记录核心技术Core Technical Challengesrepresentation表示alignment对齐转换translationFusion融合co-learning共同学习总结Course Syllabus教学大纲个人总结第一周的安排相关连接课程记录
这部分是自己看视频然后截屏记录下来的这部分的感受大家感兴趣但是又听得很费劲的话可以看我的总结。
核心技术Core Technical Challenges
representation表示 多模态学习的里程碑事件是人们学会了联合表示joint representtation。在上图中可以看到不同的模态信息都是使用同一种表示进行表示包括语言感觉触觉等。 上图中左侧是图片和文字两种模态进行融合发展的典型样例。右侧是语言和视觉的结合分别使用独立的语言模型和视觉模型将文本和图片转为vector进行表示然后再进行联合。这两个语义就存在于同一个空间。 上述slide是一个联合学习的简单应用 将一个蓝色的车辆生成的向量减去blue生成vector然后再加上新的单词你就可以获得红色的车。可以用来做简单的内容理解虽然内容仍旧很鸡肋但是但是已经是划时代。进一步说我们可以将多模态学习转为如何开发出一种能够表示不同模态数据的冗余性和互补型的表示。 数据的互补性在于仅仅通过一种模态并不能达成目标需要两种信息互补。冗余性就是通过一种信息就可以知道完全的信息彼此是冗余的但是可以保持模型的健壮性。不同于多模态协调多模态融合是将两种模态融合为一种模态在同一空间中进行保存图片就是文本然后文本就是图片这是绑定的。但是多模态协调 是完全不同的模态。如果两个模态比较近似可以使用联合表示joint representation。如果不相等但是相似就可以使用多模态协调。多模态协调的典型样例就是CCA Canonical Correlation analysis
alignment对齐 alignment和多视角多种语言中对齐定义相类似正常你在说话的时候需要将和语言和动作进行对齐才会便于理解。多模态学习就像是对于同一事物使用不同视角进行学习这个视角可以看作是模态就是使用不同的模态去学习同一个事物。常见的应用比如说将表示同样意义的图片和文字进行存储。Explicit Alignment是根据意义将事物进行比对比如说将做通一道菜的视频和菜谱进行配对将意义相同的图片和文字进行配对。损失函数的目标就是衡量是否对齐的。Implicit Alignment不同于上文的清晰对齐不清晰对齐的损失函数的目标并不是直接判定是否对齐的是以别的任务为目标的。不清晰的对齐是作为某一项任务的中间过程实际的损失函数可能是以别的任务为目标。常见的比如说在从图片生成文本的过程中文字和图片对齐仅仅是一个潜在的过程对于研究这个方向的人来说具体可能就是注意力模型。自注意力机制和tarnsformer就是按照这个线索展开的。 上述视频可能不同运动力度不同但是你仍旧可以想方设法使其进行对齐。上述slide就是explicit对齐单纯为了对齐而对齐 上述过程就是隐式对齐为了实现语言生成需要进行文字对齐。对齐是作为其中一个过程存在的。 representation和alignment对于大部分多模态模型而言都是必须的部分也是本课程最为重要的两个部分分别花费三周的时间学习。在后者将会产生分支translation是作为转换将一种模态转换为另外一种模态而fusion虽然是融合是将两种模态进行融合但是不同于representation其实为了获取更加高级的信息比如说获取情感信息或者获取视频中的具体事件等。translation的典型应用就是图片的注释生成。
转换translation 这就是转换的一个典型的应用根据任务描述和台词自动生成在说这些话的动画模型。 将数据从一种模态转变为另外一种模态的过程其中转换关系一般是开放没有限度的或者是主观的 这个应用是根据文字生成对应的动作作者的幻想就是根据剧本生成对应初始版本的动画看看剧本的效果。
Fusion融合 主要是分为早期融合和晚期融合早期融合是针对在将两种模态的数据进行融合在融合之后的数据上进行更加复杂的操作。而后融合就是先进行复杂操作然后见结果进行融合这样处理之后整个模型的数据会变小。model-agnostic approach:模型不可知方法 co-learning共同学习 共同学习的目标在模态之间尽心转换结果包括表达方式和预测性的模型。比如说目标检测就是一个单模态的任务我们能否使用其他的已经训练好的相关的多模态模型来减少单模态目标识别的训练时间。一般来说是用来针对数据比较少的情况下使用的。 共同学习的最大问题就是不知道两个共同学习的模态的相关性是强的还是弱的不知道如何进行配对。parallel就是完全匹配的关系每一个模态的元素都是一一对应的比如说单词和图片。另外一种就是non-parallel属于不完全匹配但是整体的含义是相同的比如说具有相同意义的英文句子和法语句子。 ** a cyclic loss** : 循环损失上述例子是学习language Embedding的过程将用户说的话编码用来进行情感识别。这里的想法是如果语料库足够多就可以单纯通过语言这个模态进行解决但是针对手写的文本数据库比较多但是对于语音的语料库并不是很多。正常讲话的过程中是包含语音信息语言信息和人物动作三种信息可以在训练中使用用来改良训练效果但是在测试阶段只能拥有语音信息。首先作者将语音模态转换进行编码变为中间表示然后生成为视觉模态。然后使用循环损失函数进行逆向操作由视觉模态逆向生成共同学习的中间表示然后在进行逆向生成变成原始的语言模态。这个用来判定转换之后的目标模态是否保存了输入数据的所有信息。然后在实际训练的过程中你就可以单纯针对中间表示进行训练中间表是的数据集表较多然后原先的数据集就只需要进行测试极了。最左端输入的是比较少的测试数据中间是数据集比较多的数据集右侧是最终的训练结果
总结 上述是五个分类的大概并且指出了对应类别的研究挑战。 多模态机器学习已经解决了目前很多的问题上述为目前主要的研究方向。
Course Syllabus教学大纲
ICML 不仅仅运行对应的代码更重要能够进行错误分析知道为什么。然后再提出一些改进意见并不是追求什么准确度而是做出不同的尝试 具体的课程安排 个人总结
这是完全听了这门课觉得部分国外教学是要比部分国内教学好的至少教的东西都是比较新的并不是照本宣科的念已经有了网课就照着网课跟着学习这里把链接贴出来。上面的内容是我听了网课总结的感兴趣的可以进行学习。这门课的最终的项目都发表了相关的文章而且作者在github上都放上了相关的连接大部分都已经发表了对应的文章。这是一个系列性的课程自己慢慢听应该会收获很多。每周的阅读内容我都会将我自己的阅读内容写成博客分享如果大家对于这门课程感兴趣可以和我一块讨论。
第一周的安排
阅读下述文献 Multimodal Machine LearningA Survey and TaxonomyRepersentation Learning:A Review and New Perspective 回答相关的问题 What is Multimodal? Definitions, dimensions of heterogeneity and cross-modal interactions.Historical view and multimodal research tasks.Core technical challenges: representation, alignment, transference, reasoning, generation, and quantification.
相关连接
课程视频链接 课程安排连接
