目录

1.BiFPN论文简介

2. 在Common.py中添加定义模块(Concat)

3. 将类名加入进去，修改yolo.py

4. 修改train.py

5.修改配置文件yolov5.yaml

1.BiFPN论文简介

论文《EfficientDet: Scalable and Efficient Object Detection》地址：https://arxiv.org/abs/1911.09070

BiFPN 全称 Bidirectional Feature Pyramid Network 加权双向（自顶向下 + 自低向上）特征金字塔网络。

​

图中蓝色部分为自顶向下的通路，传递的是高层特征的语义信息；红色部分是自底向上的通路，传递的是低层特征的位置信息；紫色部分是同一层在输入节点和输入节点间新加的一条边。

  • 我们删除那些只有一条输入边的节点。这么做的思路很简单：如果一个节点只有一条输入边而没有特征融合，那么它对旨在融合不同特征的特征网络的贡献就会很小。删除它对我们的网络影响不大，同时简化了双向网络；如上图d 的 P7右边第一个节点
  • 如果原始输入节点和输出节点处于同一层，我们会在原始输入节点和输出节点之间添加一条额外的边。思路：以在不增加太多成本的情况下融合更多的特性；
  • 与只有一个自顶向下和一个自底向上路径的PANet不同，我们处理每个双向路径(自顶向下和自底而上)路径作为一个特征网络层，并重复同一层多次，以实现更高层次的特征融合。如下图EfficientNet 的网络结构所示，我们对BiFPN是重复使用多次的。而这个使用次数也不是我们认为设定的，而是作为参数一起加入网络的设计当中，使用NAS技术算出来的。

​

Weighted Feature Fusion 带权特征融合：学习不同输入特征的重要性，对不同输入特征有区分的融合。
设计思路：传统的特征融合往往只是简单的 feature map 叠加/相加 (sum them up)，比如使用concat或者shortcut连接，而不对同时加进来的 feature map 进行区分。然而，不同的输入 feature map 具有不同的分辨率，它们对融合输入 feature map 的贡献也是不同的，因此简单的对他们进行相加或叠加处理并不是最佳的操作。所以这里我们提出了一种简单而高效的加权特融合的机制。
常见的带权特征融合有三种方法。

​

2. 在Common.py中添加定义模块(Concat)

# 结合BiFPN 设置可学习参数 学习不同分支的权重# 两个分支concat操作class BiFPN_Concat2(nn.Module):    def __init__(self, dimension=1):        super(BiFPN_Concat2, self).__init__()        self.d = dimension        self.w = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True)        self.epsilon = 0.0001        # 设置可学习参数 nn.Parameter的作用是：将一个不可训练的类型Tensor转换成可以训练的类型         parameter        # 并且会向宿主模型注册该参数 成为其一部分 即model.parameters()会包含这个parameter        # 从而在参数优化的时候可以自动一起优化    def forward(self, x):        w = self.w        weight = w / (torch.sum(w, dim=0) + self.epsilon)  # 将权重进行归一化        # Fast normalized fusion        x = [weight[0] * x[0], weight[1] * x[1]]        return torch.cat(x, self.d)# 三个分支concat操作class BiFPN_Concat3(nn.Module):    def __init__(self, dimension=1):        super(BiFPN_Concat3, self).__init__()        self.d = dimension        self.w = nn.Parameter(torch.ones(3, dtype=torch.float32), requires_grad=True)        self.epsilon = 0.0001    def forward(self, x):        w = self.w        weight = w / (torch.sum(w, dim=0) + self.epsilon)  # 将权重进行归一化        # Fast normalized fusion        x = [weight[0] * x[0], weight[1] * x[1], weight[2] * x[2]]        return torch.cat(x, self.d)

3. 将类名加入进去，修改yolo.py

models/yolo.py中的parse_model函数中搜索elif m is Concat:语句,在其后面加上BiFPN_Concat相关语句

# 添加bifpn_concat结构elif m in [Concat, BiFPN_Concat2, BiFPN_Concat3]:    c2 = sum(ch[x] for x in f)

​

4. 修改train.py

1.调用模块

from models.common import BiFPN_Concat2, BiFPN_Concat3

​

2.向优化器器中添加BiFPN的权重参数

yolov5.0 版本将BiFPN_Concat2和BiFPN_Concat3函数中定义的w参数，Ctrl+F快捷检索pg0

 pg0, pg1, pg2 = [], [], []  # optimizer parameter groups    for k, v in model.named_modules():        # hasattr: 测试指定的对象是否具有给定的属性，返回一个布尔值        if hasattr(v, 'bias') and isinstance(v.bias, nn.Parameter):            pg2.append(v.bias)  # biases        if isinstance(v, nn.BatchNorm2d):            pg0.append(v.weight)  # no decay        elif hasattr(v, 'weight') and isinstance(v.weight, nn.Parameter):            pg1.append(v.weight)  # apply decay        elif isinstance(v, BiFPN_Concat2) and hasattr(v, 'w') and isinstance(v.w, nn.Parameter):            pg1.append(v.w)        elif isinstance(v, BiFPN_Concat3) and hasattr(v, 'w') and isinstance(v.w, nn.Parameter):            pg1.append(v.w)    if opt.adam:        optimizer = optim.Adam(pg0, lr=hyp['lr0'], betas=(hyp['momentum'], 0.999))  # adjust beta1 to momentum    else:        optimizer = optim.SGD(pg0, lr=hyp['lr0'], momentum=hyp['momentum'], nesterov=True)    optimizer.add_param_group({'params': pg1, 'weight_decay': hyp['weight_decay']})  # add pg1 with weight_decay    optimizer.add_param_group({'params': pg2})  # add pg2 (biases)    logger.info('Optimizer groups: %g .bias, %g conv.weight, %g other' % (len(pg2), len(pg1), len(pg0)))    del pg0, pg1, pg2

​

yolov5.6.0以上版本可以Ctrl+F快捷检索# Optimizer，以6.2版本为例

5.修改配置文件yolov5.yaml

将Concat全部换成BiFPN_Concat

# parametersnc: 80  # number of classesdepth_multiple: 0.33  # model depth multiplewidth_multiple: 0.50  # layer channel multiple# anchorsanchors:  - [10,13, 16,30, 33,23]  # P3/8  - [30,61, 62,45, 59,119]  # P4/16  - [116,90, 156,198, 373,326]  # P5/32# YOLOv5 backbonebackbone:  # [from, number, module, args]  [[-1, 1, Focus, [64, 3]],  # 0-P1/2   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4   [-1, 3, C3, [128]],   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8   [-1, 9, C3, [256]],   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16   [-1, 9, C3, [512]],   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32   [-1, 1, SPP, [1024, [5, 9, 13]]],   [-1, 3, C3, [1024, False]],  # 9  ]# YOLOv5 headhead:  [[-1, 1, Conv, [512, 1, 1]],   [-1, 1, nn.Upsample, [None, 2, 'nearest']],   [[-1, 6], 1, BiFPN_Concat2, [1]],  # cat backbone P4   [-1, 3, C3, [512, False]],  # 13   [-1, 1, Conv, [256, 1, 1]],   [-1, 1, nn.Upsample, [None, 2, 'nearest']],   [[-1, 4], 1, BiFPN_Concat2, [1]],  # cat backbone P3   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)   [-1, 1, Conv, [256, 3, 2]],   [[-1, 14,6], 1,BiFPN_Concat3, [1]],  # cat head P4   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)   [-1, 1, Conv, [512, 3, 2]],   [[-1, 10], 1, BiFPN_Concat2, [1]],  # cat head P5   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)  ]