开场

  • 多模态串讲的上篇是比较传统的多模态任务

  • 多模态最后的模态交互很重要

  • 传统的缺点是都用了预训练的目标检测器，训练和部署都很困难。

  • ViLT 把预训练的目标检测器换成了一层的 Patch Embedding。

    • 因此容易比不过 c 类的方法

  • ViLT 训练很慢

  • 认为未来是 c 类的模型结构

  • Loss：

    • b 类（CLIP）仅用对比学习的 loss（Image Text Contrastive），比较简单。
    • c 类由于有目标检测，因此提了 Word Patch Alignment
    • ViLT 中发现 WPA Loss 非常慢
    • MLM 的 Loss
    • Image Text Matching 效果也很好
    • 认为目标函数应该是 ITC + ITM + MLM 的合体

回顾 CLIP

  • 双塔模型
  • 让已有的（图像，文本）对在空间上更近，不是一个对的空间上更远。
  • 最后仅做了点乘。
  • 缺陷：
    • VQA 等任务不太好

ALBEF

论文：Align before Fuse: Vision and Language Representation Learning with Momentum Distillation

亮点：

  • 图像部分 12 层 transformer encoder
  • 文本部分前 6 层文本编码器，后 6 层做多模态融合的编码器。
  • 没有目标检测模型
  • 使用了 Image Text Contrastive loss
  • 自训练，用伪标签标上网上爬下来的有噪数据。 伪标签（pseudo-target）由一个 momentum model 提供。
    • 原因在于搜索引擎爬下来的（图像，文本）对，非常高噪。文本被称作 Alt text，并没有很好地描述图像，而是提供了搜索引擎需要便于检索的关键词。
  • 互信息最大化的方式：文章里所提到的目标函数是为了同一个图像文本对提供不同的视角。变相的数据增强。
  • 速度很快：4e6 的数据 8 卡机训练 3、4 天可以跑出来（这也很久了）

作者来自 SalesForce，有一系列多模态工作，很厉害。

文章提到：由于大多数方法使用 transformer 的多模态编码器来同时编码视觉和文本特征，由于目标检测器是提前训练好的，因此视觉和文本特征并不是对齐的。由于没经过端到端的训练，因此可能这两个特征有很远的距离。

模型image Embedding 部分

  • 使用了标准的 ViT 模型
  • 预训练参数用了 DEiT。

文本部分

  • 只用前 6 层做文本编码

Loss 函数

  • ITC loss
    • 文本和图片的 [CLS] token 经过 encoder 后，被当作文本的全局特征，然后丢尽 ITC loss 里作比较。
      • 所以这里有个问题：图片是怎么加上 [CLS] token 的？
        • ViT 中将图片分成若干个 patch，然后把 patch 作为 token，然后直接加上 [CLS] token 后，再进行 embedding 等操作。
    • 这里是将文本转化成的图片与 ground-truth 做交叉熵，反之亦然。
    • 但是这样就没办法得到中间状态了？
  • ITM Loss
    • 给定图片和文本，然后经过 ALBEF 的模型后，得到特征，再过一个FC层，以此做二分类，判断是否为一对。
    • 但是判断正样本有点难，但是判断负样本很容易，因此准确度会上升得很快。
    • 为解决上面的问题，这里通过某种方式选择最接近正样本的负样本。
      • hard negatives ：ITM 利用 ITC 把同一 batch 中图片和所有文本都算一遍余弦相似度。 利用最相似的做负样本。
  • Masked Language Modeling
    • mask 掉一些文本，然后将 mask 过后的句子和图片一起通过 ALBEF 模型，最后把之前完整的句子预测出来。
    • 输入与前两个 Loss 不同是 \((I, T_{mask})\)，说明模型用了两次 forward() 函数。

然后三者简单加和即可。

Momentum Distillation（动量蒸馏）

  • 原因
    • noisy web data
      • ITC：可能文本已经描述得很好了，但是由于 data noisy，导致了其为负样本。
      • MLM：有时候可能比填 ground-truth 更好的文本。
  • self-training
  • 具体模型构建：在已有模型之上做 exponential-moving-average
    • 目的：跟 one-hot 尽可能接近之外，让它跟动量模型出来的 pseudo-targets 尽可能 match。
  • 对原 Loss 的改进，都对两者加入了动量蒸馏后的向量：
    • ITC：见式 6.
    • MLM：式 7.

实验预训练

四个数据集：

  1. Conceptual Captions
  2. SBU Captions
  3. COCO：图片对多文本
  4. Visual Genome：图片对多文本

第五个数据集更 noisy，但是数量也更大， 对性能也有提升。

下游任务

  • Image-Text Retrieval
  • Visual Entailment
  • VQA
  • Visual Reasoning
  • Visual Grounding

消融实验

  • 去掉 ITC 掉的多 。
  • hard negative 其二。
  • Momentum Distillation 提升反而没有那么大，但是是很有趣的研究方向。

VLMo

题目：VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts

微软的组发的

亮点：

  • 模型结构上的改进 Mixture-of-Modality-Experts
  • 训练方式改进：分阶段模型预训练

作者认为前人缺点

  • CLIP、ALIGN：
    • 双塔结构（比较大的文本模型和图片模型），最后只做了一个余弦相似度，余弦过于简单。
  • 单塔结构（即有一个比较大的模态融合模型）
    • 分类任务上 superior performance
    • 检索任务数据集大的时候，推理时间会非常慢

因此作者融合前两者。简单地说，自注意力中所有的模态都是共享的，但是在 FC 层中，每个模态会对应自己不同的 Expert。训练时，哪个模态的数据来了就训练对应模态的 Expert。

训练 Loss 函数同样是 ITC、ITM、MLM。

多模态数据集可能不够，因此采用了单模态的其他数据，分阶段训练。

  • 把 vision expert 在 vision 数据集上训练
  • 把 language expert 在语言数据集上训练
  • 再在多模态数据集上训练

模型

模型亮点

  • MoME Transformer
    • 前面的多头注意力层共享参数
    • Switching Modality Expert：每个模态一个 FFN 层，不共享参数
  • 灵活
  • 在不同的下游任务上可以采用不同的结构以及相同的参数

Loss

  • ITC
  • ITM
  • MLM

实验训练过程

  • 自注意力在视觉上训练了，然后会在文本部分冻住。
    • 反过来反而没那么有效。
  • 最后一步全部解冻

结果数据集：

VQA、NLVR2

简要结果

比 ALBEF 全线更强

一些未来的工作已被验证

  1. 更大模型 —— BeiTv3
  2. vision-language generation ——VL-BeiT
  3. 单模态可以帮助多模态，多模态也可以帮助单模态——BeiTv3
  4. 更多模态，如视频等——MetaLM

BLIP

论文：BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding Generation

基于 Transformer Encoder Decoder 的工作

作者来自 Salesforce

亮点：

  • Bootstrap：从数据集角度出发的
    • 先用嘈杂数据训练模型，再用比较干净的数据训练模型
  • Unified：
    • 统一了图像-语言的理解与生成任务

引言

  • 模型：以前的模型一般是 encoder 或者 encoder-decoder
    • 但是 only-encoder 模型没法应用到生成任务中
    • encoder-docoder 模型，由于没有统一框架，也不能做 VL retrieval 的任务
  • 数据：
    • 以前的模型都是在大规模的 noisy 数据训练
    • 因此本文要更好地 clean 数据
      • Captioner：利用 Captioner 生成图片相应文本
      • Filter：利用 Filter 筛掉不匹配的 VL 对
  • 因此结合了 ALBEF 和 VLMo，做出BLIP

方法

模型

  • 图片部分
    • 标准 ViT
  • 剩下部分有三个模型，分别算三个不同的目标函数
    • 第一个模型：Text Encoder 做分类任务
      • 得到文本特征与图片特征做 ITC
    • 第二个模型：Image-grounded Text encoder
      • 多模态编码器
      • 借助图像信息
      • ITM Loss
    • 第三个模型 Image-grounded Text decoder
      • 用于做生成任务
      • 不能看到完整的句子
      • 类似GPT，从前面推测后面的句子
      • 第一层是 Causal Self-att，因果关系的自注意力
      • LM Loss
  • 共享参数
    • 同样颜色代表同样的参数
  • 训练很费时间，原因要做四个 forward()

Captioner 和 Filter

可以认为爬下来的数据有很大概率不匹配（如 CC12M），但是手工标注的数据很可能匹配（如COCO）

  • Filter
    • 利用 ITC&ITM 的模型在 COCO 上 finetune。然后利用该模型筛选
  • Captioner
    • BLIP 性能很强，于是生成的文本有时候比原始文本都好。
    • 利用 LM 后的模型做微调。
  • 有了这两个模型后，有了相当大的提升

结果

  • 常识性结论：
    • 数据集更高，有所提升
    • 模型变大，有所提升
  • Captioner & FIlter：
  • 用了哪个都会有提升。
  • 用了 Captioner 提升更加显著
  • 而且完全可以利用这两个去训练其他模型

使用例

  1. 有位同学想要利用 Stable Diffusion 做一个生成宝可梦风格的模型，得到了宝可梦的图片但是没有描述。
    • 利用 BLIP 生成描述。
  2. LAION COCO 数据集
    • 用一个 BLIP 和 2 个 CLIP 模型不停做 Caption & filter 的过程
      • 用 BLIP 生成 40 个描述
      • 再利用一个 CLIP 排序，选最好的 5 个描述
      • 再用另一个 CLIP（最大的模型） 得到最好的一个。
    • 最后得到了 600 Million 数据集

CoCa

论文标题：CoCa: Contrastive Captioners are Image-Text Foundation Models

作者来自 google

亮点：

  • 两个 loss
    • contrastive loss
    • caption loss
  • 模型更大
  • 多模态&单模态都取得了非常强劲的效果

方法模型

  • CoCa 是 ALBEF 的后续工作，一些过程继承了 ALBEF 的过程，详细过程如下：
    • 左边是 Image Encoder，右边是 Text Decoder
    • 图像的 [CLS] token 和文本的 [CLS] token 做一个 contrastive loss，然后剩下的图像 token 做一下 Attention pooling，然后再传到 多模态的 Text Decoder 里做 Cross-Attention ，这样就把 V&L 的特征融合到一起了。
    • 最后用了 Captioning Loss
  • 与 ALBEF 的区别
    • 图像的 attention pooling 是可学的，能针对不同任务学到更好特征。
    • 文本这一端，不论是单文本还是多模态用的都是 Decoder。
      • 采用 Captioning Loss 与 Decoder 结构目的是加快运算速度。
  • 模型参数 2.1B
  • 数据集：
    • GFT 3B 转化成了多模态数据集
    • 还有一个之前训练 Align 的数据集

结果

（我所见过最离谱的图）

BEITv3

论文题目：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks

作者来自微软

亮点：

  • 模型要统一
  • 训练目标函数要统一
  • 数据集大小要统一
  • 独特的命名
    • images -> Imglish
    • texts -> English
    • image-text pairs -> parallel sentence
  • 目标函数 Masked Modeling loss
  • 模型为之前 VLMo 提出的 MoME，然后这篇论文重新起了名字 Multi-way Transformers
    • 由于模型结构灵活，因此推理时可以拆成许多部分做许多下游任务。
  • 预训练数据集都是公开数据集
  • 引言写的很好（如果要研究多模态要去看一下）

这篇论文证明了：

  • 不是目标函数越多越好，要看目标函数是否有互补的特性
  • 数据也不一定越多越好，质量也很关键

模型预训练

  • VLMo

    微调

结果

总结