[YOLOv7/YOLOv5系列算法改进NO.8]非极大值抑制NMS算法改进Soft-nms

​前言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。

YOLOv7改进为soft-nms代码：

链接：https://pan.baidu.com/s/1N9D5xjbhQjBoH12BxVsgsw
提取码：关注私信后获取

解决问题：YOLOv5默认采用NMS算法，主要是通过IoU来筛选出候选框。NMS主要就是通过迭代的形式，不断的以最大得分的框去与其他框做IoU操作，并过滤那些IoU较大（即交集较大）的框。NMS缺点：1、NMS算法中的最大问题就是它将相邻检测框的分数均强制归零(即将重叠部分大于重叠阈值Nt的检测框移除)。在这种情况下，如果一个真实物体在重叠区域出现，则将导致对该物体的检测失败并降低了算法的平均检测率。2、NMS的阈值也不太容易确定，设置过小会出现误删，设置过高又容易增大误检。采用soft nms进行改进。

原理：

NMS算法是略显粗暴，因为NMS直接将删除所有IoU大于阈值的框。soft-NMS吸取了NMS的教训，在算法执行过程中不是简单的对IoU大于阈值的检测框删除，而是降低得分。算法流程同NMS相同，但是对原置信度得分使用函数运算，目标是降低置信度得分.1、Soft-NMS可以很方便地引入到object detection算法中，不需要重新训练原有的模型、代码容易实现，不增加计算量（计算量相比整个object detection算法可忽略）。并且很容易集成到目前所有使用NMS的目标检测算法。2、soft-NMS在训练中采用传统的NMS方法，仅在推断代码中实现soft-NMS。3、NMS是Soft-NMS特殊形式，当得分重置函数采用二值化函数时，Soft-NMS和NMS是相同的。soft-NMS算法是一种更加通用的非最大抑制算法。

方 法：

第一步修改general.py，增加soft nms模块，代码如下。

def my_soft_nms(bboxes, scores, iou_thresh=0.5, sigma=0.5, score_threshold=0.25):bboxes = bboxes.contiguous()x1 = bboxes[:, 0]y1 = bboxes[:, 1]x2 = bboxes[:, 2]y2 = bboxes[:, 3]# 计算每个box的面积areas = (x2 - x1 + 1) * (y2 - y1 + 1)# 首先对所有得分进行一次降序排列,仅此一次,以提高后续查找最大值速度. oeder为降序排列后的索引_, order = scores.sort(0, descending=True)# NMS后,保存留下来的边框keep = []while order.numel() > 0:if order.numel() == 1:# 仅剩最后一个box的索引i = order.item()keep.append(i)breakelse:i = order[0].item()# 保留首个得分最大的边框box索引,i为scores中实际坐标keep.append(i)# 巧妙使用tersor.clamp()函数求取order中当前框[0]之外每一个边框,与当前框[0]的最大值和最小值xx1 = x1[order[1:]].clamp(min=x1[i])yy1 = y1[order[1:]].clamp(min=y1[i])xx2 = x2[order[1:]].clamp(max=x2[i])yy2 = y2[order[1:]].clamp(max=y2[i])# 求取order中其他每一个边框与当前边框的交集面积inter = (xx2 - xx1).clamp(min=0) * (yy2 - yy1).clamp(min=0)# 计算order中其他每一个框与当前框的IoUiou = inter / (areas[i] + areas[order[1:]] - inter)# 共order.numel()-1个idx = (iou > iou_thresh).nonzero().squeeze()# 获取order中IoU大于阈值的其他边框的索引if idx.numel() > 0:iou = iou[idx]newScores = torch.exp(-torch.pow(iou, 2) / sigma)# 计算边框的得分衰减scores[order[idx + 1]] *= newScores# 更新那些IoU大于阈值的边框的得分newOrder = (scores[order[1:]] > score_threshold).nonzero().squeeze()if newOrder.numel() == 0:breakelse:newScores = scores[order[newOrder + 1]]maxScoreIndex = torch.argmax(newScores)if maxScoreIndex != 0:newOrder[[0, maxScoreIndex],] = newOrder[[maxScoreIndex, 0],]# 更新order.order = order[newOrder + 1]# 返回保留下来的所有边框的索引值,类型torch.LongTensorreturn torch.LongTensor(keep)

第二步：将general.py中将NMS改为soft nms。

 i = soft_nms(boxes, scores, iou_thres)# 

结 果：本人在多个数据集上做了大量实验，针对不同的数据集效果不同，有轻微的提升作用。

预告一下：下一篇内容分享K-Means++锚框的优化算法。有兴趣的朋友可以关注一下我，有问题可以留言或者私聊我哦

PS：NMS的改进的方法不仅仅是适用改进YOLOv5，也可以改进其他的YOLO网络，比如YOLOv4、v3等。

最后，希望能互粉一下，做个朋友，一起学习交流。