基金网站制作,平台网站建设可行报告,北京搬家公司哪家最好,学科网站建设标准1、背景 视觉语言模型#xff08;Visual Language Models#xff09;是可以同时从图像和文本中学习以处理许多任务的模型#xff0c;从视觉问答到图像字幕。 视觉识别#xff08;如图像分类、物体保护和语义分割#xff09;是计算机视觉研究中一个长期存在的难题#xff…1、背景 视觉语言模型Visual Language Models是可以同时从图像和文本中学习以处理许多任务的模型从视觉问答到图像字幕。 视觉识别如图像分类、物体保护和语义分割是计算机视觉研究中一个长期存在的难题也是自动驾驶、遥感、机器人等无数计算机视觉应用的基石。随着深度学习的出现视觉识别研究通过利用端到端可训练深度神经网络DNN取得了巨大成功。 然而从传统机器学习向深度学习的转变带来了两个新的巨大挑战即在 从零开始深度学习 的经典设置下 DNN 训练收敛缓慢以及 DNN 训练中大规模、特定任务和人群标签数据的费力收集。 最近一种新的学习范式 “预训练、微调和预测”Pre-training, Fine tuning and Prediction已在广泛的视觉识别任务中显示出极大的有效性。 在这种新范式下DNN 模型首先使用某些现成的大规模训练数据有注释或无注释进行预训练然后使用特定任务的注释训练数据对预训练模型进行微调。通过预训练模型学到的全面知识这种学习范式可以加速网络收敛并为各种下游任务训练出性能良好的模型。
2、什么是视觉语言模型 视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型可以接受图像和文本输入并生成文本输出。 大型视觉语言模型具有良好的零样本能力具有良好的泛化能力并且可以处理多种类型的图像包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时这些模型可以输出边界框或分割掩码也可以定位不同的实体或回答有关其相对或绝对位置的问题。现有的大型视觉语言模型集、它们所训练的数据、它们对图像的编码方式以及它们的能力都存在很大差异。
3、VLM分类 VLM按训练范式分成了四类 第一类是对比式训练contrastive training这是一种使用正例和负例对来训练模型的常用策略。VLM 的训练目标是为正例对预测相似的表征为负例对预测不同的表征。 第二类是掩码masking其方法是根据某些未被遮掩的文本来重建被遮掩的图块。类似地通过遮掩描述中的词也可以让 VLM 根据未被遮掩的图像来重建这些被遮掩的词。 另一类是基于预训练骨干网络来训练 VLM这往往是使用 Llama 等开源 LLM 来学习图像编码器也可能是预训练的和 LLM 之间的映射关系。相比于从头开始训练文本和图像编码器学习预训练模型之间的映射关系的计算成本往往更低。大部分这类方法都是使用中间表征或部分重建而生成式 VLM 则能生成图像或描述。有鉴于这类模型的性质它们的训练成本通常是最高的。 需要说明这些范式并不是互斥的很多方法都混合使用了对比、掩码和生成范式。 3.1 基于 Transformer 的 VLM 早期研究 通过使用 Transformer 架构BERT使用 Transformer 的双向编码器表征一诞生就超过了当时所有的语言建模方法。之后不久BERT 就被扩展用来处理视觉数据。visual-BERT 和 ViLBERT 是其中两个代表它们的做法是将文本与图像 token 组合到一起。 这些模型有两个训练目标1) 经典的掩码建模任务目标是预测给定输入中缺失的部分2) 句子 - 图像预测任务目标是预测图像标注是否描述了图像内容。通过利用这两个目标这些模型在多种视觉 - 语言任务上表现出色这主要是得益于 Transformer 模型有能力学会通过注意力机制将词与视觉线索关联起来。
3.2 基于对比的 VLM 基于对比的训练往往能通过基于能量的模型EBM更好地解释即模型的训练目标是为观察到的变量分配低能量为未被观察到的变量分配高能量。来自目标分布的数据的能量应该较低其它数据点的能量应该较高。
3.3 使用掩码目标的 VLM 在深度学习研究中掩码是一种常用技术。它可被视为一种特定形式的去噪自动编码器其中的噪声有一种空间结构。它也与修复inpainting策略有关该策略曾被用于学习强大的视觉表征。BERT 也在训练阶段使用了掩码式语言建模MLM来预测句子中缺失的 token。掩码方法非常适合 Transformer 架构因此输入信号的 token 化使得随机丢弃特定的输入 token 变得更容易。 已经有一些研究在图像方面探索这一方法即掩码式图像建模MIM具体案例包括 MAE 和 I-JEPA。很自然地也有人将这两者组合起来训练 VLM。其一是 FLAVA其使用了掩码在内的多种训练策略来学习文本和图像表征。另一个是 MaskVLM这是一种独立模型。
3.4 基于生成的 VLM 上面的训练范式主要是操作隐含表征来构建图像或文本抽象之后再在它们之间映射生成范式则不同它考虑文本和 / 或图像的生成。
3.5 用预训练骨干网络构建的 VLM VLM 的一个缺点是从头开始训练的成本很高。这通常需要成百上千台 GPU同时还必须使用上亿对图像和文本。因此也有很多研究者探索使用已有的 LLM 或视觉提取器而不是从头开始训练模型。这种做法的另一个优势是可以利用现在很多开源且易用的 LLM。通过使用这样的模型有可能学习到仅在文本模态和图像模态之间的映射。通过学习这样的映射仅需要少量计算资源就可让 LLM 有能力回答视觉问题。
4、将 VLM 扩展用于视频 之前谈到的 VLM 基本都是在静态视觉数据图像上训练和评估的。但是视觉数据还有动态的即视频。对 VLM 而言视频数据既能带来新挑战也有望为其带来新能力比如理解物体的运动和动态或在空间和时间中定位物体和动作。用文本检索视频、视频问答和视频生成正在快速成为基础的计算机视觉任务。 视频的时间属性对存储、CPU 内存来说都是一个巨大挑战如果把每一帧都视为一张图像那么帧率越高成本就越高。于是对于处理视频的 VLM 而言就需要考虑多个权衡因素比如数据加载器中动态视频解码器的压缩格式、基于图像编码器来初始化视频编码器、为视频编码器使用时空池化 / 掩码机制、非端到端 VLM。 与图像 - 文本模型类似早期的视频 - 文本模型也是使用自监督指标来从头开始训练视觉和文本组件。但不同于图像模型对比式视频 - 文本模型并非首选方法早期时人们更喜欢融合和时间对齐方法因为相比于计算视频的全局表征让表征中有更多时间粒度更重要。 近段时间视频 - 语言模型领域出现了图像 - 语言模型领域类似的趋势使用预训练 LLM 并将其与视频编码器对齐从而增强 LLM 的视频理解能力。视觉指令微调等现代技术也被广泛使用并被适配用于视频。
