[5]. Cairong Zhao, Xinbi Lv, Shuguang Dou, Shanshan Zhang, Jun Wu, Liang Wang.
Incremental Generative Occlusion Adversarial Suppression Network for Person ReID（基于增量式生成遮挡与对抗抑制的行人再识别）.
IEEE Transactions on Image Processing, 2021. [pdf][code]

基于增量式生成遮挡与对抗抑制的行人再识别

赵才荣  , 吕心铋  , 窦曙光  , 张珊珊  , 吴俊  , 王亮  

  同济大学，  南京理工大学，  复旦大学，  中科院自动化所

TIP 2021

撰稿人：赵才荣，吕心铋，窦曙光

推荐理事：林宙辰

原文标题：Incremental Generative Occlusion Adversarial Suppression Network for Person ReID

原文地址：https://ieeexplore.ieee.org/abstract/document/9397375

代码链接：https://github.com/Vill-Lab/IGOAS

◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆ ◆

摘要

在遮挡场景下，行人图像包含遮挡和较少具有辨别力的行人信息。之前的工作设计复杂的模块来捕捉隐性信息（包含人体姿态关键点, 掩码图和空间信息）来实现有效地对齐。少量研究工作专注于数据增强,只带来有限的性能提升。为了解决遮挡问题，我们提出一种新增量式生成遮挡与对抗抑制（Incremental Generative Occlusion Adversarial Suppression ,IGOAS）方法。在遮挡数据Occluded-DukeMTMC上，我们的方法在Rank-1和mAP指标上分别达到了60.1%和49.4%。

背景

为了解决遮挡问题，现有的方法不断地试图设计复杂的模块来捕捉隐含的信息（如姿态关键点和掩码图）。这样做是为了迫使网络将重点放在非遮挡身体区域的具有辨别力的特征上并进一步实现空间错位下的匹配。

使用数据增强有它的弊端

一般来说，数据增强不需要任何额外的参数学习并且能有效提高模型对数据变化（包括遮挡）鲁棒性。然而，由于困难训练样本的随机生成策略，其带来的性能提升有限。
此外，传统的基于单样本的数据增强方法对单张图像进行随机裁剪[3]、随机擦除[4]等操作，有时会使训练数据更加复杂多样。

在由易到难的学习策略和对抗性思想的启发下，我们提出了一种新颖的增量生成式遮挡对抗性抑制（IGOAS）网络来解决这个具有挑战性的问题。
具体来说，我们首先提出一个增量生成遮挡（IGO）模块。不同于传统的基于单样本的数据增强方法，IGO采用了一种由易到难的方法来生成遮挡数据而不是随机的，这使得网络对遮挡更加鲁棒。其次，我们提出了一个全局与对抗抑制(G&A)框架，使模型忽略了生成的遮挡区域，这产生一个对抗性的过程。该方法的示意图如图1所示。

IGOAS网络流程图

Fig. 2. The flowchart of the proposed IGOAS network：
1、Specifically, in the training phase, the IGO block converts the raw input into occluded data,
2、and then the raw data and the occluded data are entered into the respective branch of the frame for feature extraction.

  • In global branch, we retain the ResNet-50 baseline to extract steady global features of the raw data.
  • In adversarial suppression branch, the OSM and a global max pooling operation are employing to force this branch to suppress the occlusion’s response and strengthen discriminative feature representation on non-occluded regions of the pedestrian.

3、Finally, we get a more robust pedestrian feature descriptor by concatenating two branches’ features. And in the test phase, the incremental occlusion block won’t be performed.

全局与对抗抑制框架

G&A框架由一个主干网络、一个全局分支和一个对抗性抑制分支组成。
我们使用全局分支来学习稳健的全局特征。
而对抗抑制分支旨在通过将生成的遮挡区域的响应抑制为零，从而对前景信息给予更多关注。
我们设计一个遮挡抑制模块（OSM）来实现这一目标。

图 2. OSM的结构。  表示元素级的乘法运算

OSM的结构如图2所示。步骤：

  1. 输入的特征  首先被送入注意力模块以获得精炼的特征  。在本文中，我们使用CBAM[8]作为OSM的注意力模块。
  2. 然后,通过对二进制掩码和  进行元素级的操作乘法得到  。其中二进制掩码是通过缩放人工设计的图像遮挡掩码得到。
  3. 最后， 通过掩码损失来监督  （通过掩码损失对  进行监督），这样模型在反向传播的过程中就能学会忽略背景区域（图2中   的黑色部分）。

掩码损失可以被表述为：

 其中  代表均方误差。更具体地说。掩码损失函数使区域内的特征对应于遮挡的区域内的特征尽可能为零。由于遮挡的位置是已知的和随机的，它可以作为注意力模块的监督信息来学习抑制生成的遮挡反应。

 Fig. 5. Comparison of (a) single-based random occlusion block, (b) batch-based incremental occlusion block. In (a), each data in the batch suffers from a variable-size and variable-position occlusion. In (b), all data in the batch suffer from occlusions with a uniform size and position. But as the number of iterations increases, it allows to generate variable-size, variable-position, and easy-to-hard occlusions.

增量式生成遮挡模块

为了加强网络应对遮挡行人再识别，我们提出了一个基于批量样本的数据增强方法-增量式生成遮挡模块。我们随机生成从易到难的遮挡数据来模拟遭受遮挡的图像，通过逐渐学习更难的遮挡而不是直接学习最难的遮挡，使网络对遮挡更加鲁棒。算法细节如下所示：

与其它数据增强方法Batch DropBlock[11], Slow-Drop Block[14]和Batch Random Erasing Block的对比如下图所示：

图 3. IGO与三种数据增强方法对比

实验结果

我们在两个遮挡行人数据集-Occluded-DukeMTMC和Occluded-REID和两个完整行人数据集-Market-1501和DukeMTMC-reID上评价提出的算法。为了证明我们提出方法的有效性，我们提出一个IGOAS的基础版本。一方面我们直接使用基于批量样本的随机擦除模块来生成遮挡，另一方面，我们使用CBAM来替换OSM在网络中的位置。我们将这种组合的方法称为BRE+CBAM。

表1. 在Occluded-DukeMTMC上的性能

表 2. 在Occluded-ReID上的性能

表 3. 在两个完整行人数据集上的性能

实验结果表明，我们的方法相比最先进的遮挡方法HONet和MHSA能获得更好的效果。在完整的行人数据集中，IGOAS也表现出具有竞争力的性能。值得注意的是，以上方法大多使用额外的信息和复杂的网络结构。我们的方法没有使用任何额外信息，仅通过生成遮挡再抑制生成的遮挡来解决行人再识别中的遮挡问题。