论文地址：Wise-IoU: Bounding Box Regression Loss with Dynamic Focusing Mechanism

GitHub：https://github.com/Instinct323/wiou

摘要：目标检测作为计算机视觉的核心问题，其检测性能依赖于损失函数的设计。边界框损失函数作为目标检测损失函数的重要组成部分，其良好的定义将为目标检测模型带来显著的性能提升。近年来的研究大多假设训练数据中的示例有较高的质量，致力于强化边界框损失的拟合能力。但我们注意到目标检测训练集中含有低质量示例，如果一味地强化边界框对低质量示例的回归，显然会危害模型检测性能的提升。Focal-EIoU v1 被提出以解决这个问题，但由于其聚焦机制是静态的，并未充分挖掘非单调聚焦机制的潜能。基于这个观点，我们提出了动态非单调的聚焦机制，设计了 Wise-IoU (WIoU)。动态非单调聚焦机制使用“离群度”替代 IoU 对锚框进行质量评估，并提供了明智的梯度增益分配策略。该策略在降低高质量锚框的竞争力的同时，也减小了低质量示例产生的有害梯度。这使得 WIoU 可以聚焦于普通质量的锚框，并提高检测器的整体性能。将WIoU应用于最先进的单级检测器 YOLOv7 时，在 MS-COCO 数据集上的 AP-75 从 53.03% 提升到 54.50%

前言：因为我能使用的算力有限，所以做实验时只在 YOLOv7 上做了。而且因为完整的 MS-COCO 需要更大的参数量，训练一个模型需要 3 天时间，所以我只取了其中四分之一的数据进行训练 (28474 张训练图片)。虽然实验量相比其它工作是远远不足的，但这几天中文社区的反应让我感觉这篇文章还有救哈哈哈。为了支持广大计算机视觉研究者的工作，我决定来这里讲解一下理论部分和代码实战

CIoU、SIoU 的 v2 使用和 WIoU v2 一致的单调聚焦机制，v3 使用和 WIoU v3 一致的动态非单调聚焦机制，详见论文的消融实验

在计算速度上，WIoU 所增加的计算成本主要在于聚焦系数的计算、IoU 损失的均值统计。在实验条件相同时，WIoU 因为没有对纵横比进行计算反而有更快的速度，WIoU 的计算耗时为 CIoU 的 87.2%

在性能提升上，数据集的标注质量越差 (当然差到一定程度就不叫数据集了)，WIoU 相对其它边界框损失的表现越好。比如说我在一个检测火焰的比赛里用的 WIoU (那时的初版还比较捞) 使 mAP 提升了 1.70% (相比 CIoU)

这篇博客没有像论文那么详细，大家有什么地方看不明白的欢迎在评论区提问，我会抽时间补上的 ~

现有工作

记锚框为gif.latex，目标框为

IoU 用于度量目标检测任务中预测框与真实框的重叠程度，定义为：

， 在训练时无法更新

来解决这个问题，现有的边界框损失都是基于加法的损失，并遵循以下范式：

同时为最小包围框的尺寸 增大而阻碍预测框与目标框重叠：

但不可否认的是，距离度量的确是一个极其有效的解决方案，成为高效边界框损失的必要因子。EIoU 在此基础上加大了对距离度量的惩罚力度，其惩罚项定义为：

的基础上，CIoU 增加了对纵横比一致性的考虑：

描述了纵横比一致性：

反向传播的梯度满足 不可能为预测框的宽高提供同号的梯度。在前文对 DIoU 的分析中可知 DIoU 会产生负梯度 正好抵消时，会导致预测框无法优化。而 CIoU 对纵横比一致性的考虑将打破这种僵局

Scylla-IoU

Zhora Gevorgyan 证明了中心对齐的边界框会具有更快的收敛速度，以 angle cost、distance cost、shape cost 构造了 SIoU。其中 angle cost 描述了边界框中心连线与 x-y 轴的最小夹角：

gif.latex

distance cost 描述了两边界框的中心点在x轴和y轴上的归一化距离，其惩罚力度与 angle cost 正相关。distance cost 被定义为：

shape cost 描述了两边界框的形状差异，当两边界框的尺寸不一致时不为 0。shape cost 被定义为：

类似，它们都由 distance cost 和 shape cost 组成：

，这将显著放大普通质量锚框的，这将显著降低高质量锚框的

产生阻碍收敛的梯度，将 的单调聚焦系数

在模型训练过程中，梯度增益 的减小而减小，导致训练后期收敛速度较慢。因此，引入

其中的的滑动平均值，动态更新归一化因子使梯度增益

离群度小意味着锚框质量高，我们为其分配一个小的梯度增益，以便使边界框回归聚焦到普通质量的锚框上。对离群度较大的锚框分配较小的梯度增益，将有效防止低质量示例产生较大的有害梯度。我们利用

其中，当gif.latex 时，。当锚框的离群程度满足为定值)时，锚框将获得最高的梯度增益。由于

为了防止低质量锚框在训练初期落后，我们初始化 的锚框具有最高的梯度增益。为了在训练的早期阶段保持这样的策略，需要设置一个小的动量 接近真实值(总数据量 / batch size)、mAP 的提升速度显著放缓的轮次为

这种设置使得经过。在训练的中后期，WIoU v3 将小梯度增益分配给低质量的锚框以减少有害梯度。同时 WIoU v3 会聚焦于普通质量的锚框，提高模型的定位性能

核心代码

IoU_Cal 类 (在最上面的 Github 链接里) 可以计算现有的边界框损失 (IoU，GIoU，DIoU，CIoU，EIoU，SIoU，WIoU)，核心的类变量有：

  • iou_mean：即的设置。当的值，此时不需要使用 eval 和 train 函数指定训练模式；否则需要使用 eval 和 train 函数指定训练模式

此外，聚焦机制会对边界框损失的值进行缩放，具体通过实例方法 _scaled_loss 实现

其中，WIoU v3 包含 α, δ两个超参数，不同的超参数可能适用于不同的模型和数据集，需要自行调整 _scaled_loss 的缺省值以找到最优解

在将 WIoU v3 引进 YOLOv7 时，先在 train_aux.py 中找到损失函数的位置。ComputeLossAuxOTA 是 train 的时候用的，找到其源代码并进行修改

因为 YOLOv7 对模型性能的比较主要利用 utils/metrics 里的 fitness 函数，与损失值无关。而 ComputeLoss 是在 eval 的时候用的，保证不出 bug 就行

在初始化函数动一下手脚，指定使用的损失函数

5a3d0b0aa3ab467ab83e19f5e0b8ffe7.png

再修改 __call__ 函数 (修改的行已用书签标注出)

5fa94fde15284c66a6c65b7f60a1014c.png

再找到 bbox_iou 函数的所在位置，修改边界框损失的计算方法

这里因为形参、返回值都和原函数不同，所以要检查 ComputeLoss 中调用这个函数的地方，以防报错

def bbox_iou(box1, box2, type_, x1y1x2y2=True):    # Returns the IoU of box1 to box2. box1 is 4, box2 is nx4    box2 = box2.T    # Get the coordinates of bounding boxes    if x1y1x2y2:  # x1, y1, x2, y2 = box1        b1_x1, b1_y1, b1_x2, b1_y2 = box1[0], box1[1], box1[2], box1[3]        b2_x1, b2_y1, b2_x2, b2_y2 = box2[0], box2[1], box2[2], box2[3]    else:  # transform from xywh to xyxy        b1_x1, b1_x2 = box1[0] - box1[2] / 2, box1[0] + box1[2] / 2        b1_y1, b1_y2 = box1[1] - box1[3] / 2, box1[1] + box1[3] / 2        b2_x1, b2_x2 = box2[0] - box2[2] / 2, box2[0] + box2[2] / 2        b2_y1, b2_y2 = box2[1] - box2[3] / 2, box2[1] + box2[3] / 2    # 将边界框信息拼接    b1 = torch.stack([b1_x1, b1_y1, b1_x2, b1_y2], dim=-1)    b2 = torch.stack([b2_x1, b2_y1, b2_x2, b2_y2], dim=-1)    self = IoU_Cal(b1, b2)    loss = getattr(IoU_Cal, type_)(b1, b2, self=self)    iou = 1 - self.iou    return loss, iou