TDNN本质上是1维卷积,而且常常是1维膨胀卷积,这样的一种结构非常注重context,也就是上下文信息,具体而言,是在frame-level的变换中,更多地利用相邻frame的信息,甚至跳过 t − 1 , t + 1 t-1,t+1 t−1,t+1的frame,而去对 t − 2 , t + 2 t-2,t+2 t−2,t+2的frame进行连接
在ECAPA-TDNN中,更是进一步利用了膨胀卷积,出现了 d i l a t i o n = 2 , 3 , 4 dilation=2,3,4 dilation=2,3,4的情况。此外,还引入了Res2Net,从而获得了多尺度的context,所谓多尺度,指的是各种大小的感受野
经典的ResNet结构如下左图所示,先用 k e r n e l – s i z e = 1 × 1 kernel \text{-} size=1 \times 1 kernel–size=1×1的卷积运算,相当于只针对每个像素点的特征通道进行变换,而不关注该像素点的任何邻近像素,并且是降低特征通道的,所以也被叫做Bottleneck,就好像将可乐从瓶口倒出来,如果是增加特征通道,那么就叫Inverted Bottleneck
1 × 1 1\times1 1×1卷积后,会经过 3 × 3 3\times3 3×3卷积,通常不改变特征通道,如果不需要在最后加上残差连接,那么 s t r i d e = 2 stride=2 stride=2,特征图的分辨率会被下采样,如果需要在最后加上残差连接,那么 s t r i d e = 1 stride=1 stride=1,保持特征图分辨率不变
而Res2Net则是在中间的 3 × 3 3\times3 3×3卷积进行的微创新,首先将 1 × 1 1\times1 1×1卷积后的特征图,按照特征通道数进行平分,得到 s c a l e scale scale个相同的特征图(这里的 s c a l e scale scale是“尺度”的意思,Res2Net的作用就是多尺度特征,一语双关)
卷积中有一个概念叫感受野,是指当前特征图上的像素点,由之前某一个特征图在多大的分辨率下进行卷积得到的。如下图所示, d i l a t i o n = 1 dilation=1 dilation=1的 3 × 3 3\times3 3×3卷积,其输出特征图的每一个像素点的感受野都是 3 × 3 3\times3 3×3,再进行 d i l a t i o n = 1 dilation=1 dilation=1的 3 × 3 3\times3 3×3卷积,其输出特征图的每一个像素点的感受野都是 5 × 5 5\times5 5×5
在ECAPA-TDNN中所用的Res2Net,是上述结构中的2维卷积全部换成1维卷积,采用的中间 k = 3 k=3 k=3卷积(1维卷积,不能用 3 × 3 3\times3 3×3表示,以下都用 k = 3 k=3 k=3代替)为膨胀卷积,并且随着网络深度增加, d i l a t i o n dilation dilation分别为 2 , 3 , 4 2,3,4 2,3,4。ECAPA-TDNN的结构图如下,SE-Res2Block后面括号内的参数,指的是Res2Block的中间 k = 3 k=3 k=3卷积的参数
SE-Res2Block的内部,如下图所示,夹着Res2的两个CRB(Conv1D+ReLU+BN)结构的参数为 ( k = 1 , d = 1 ) (k=1,d=1) (k=1,d=1),中间的Res2, s c a l e = 8 scale=8 scale=8,之后的运算与上述Res2Net一致,不过每个 k = 3 k=3 k=3卷积都是膨胀卷积,并且都会接ReLU和BN,从而形成Res2 Dilated Conv1D+ReLU+BN的结构
ECAPA-TDNN中对ASP进行了改进,首先将之前3个SE-Res2Block的输出,按照特征维度进行串联,假设frame-level变换中的特征维度是512,由于3个SE-Res2Block的输出维度都是 ( b s , 512 , T ) (bs,512,T) (bs,512,T),所以串联之后是 ( b s , 512 ∗ 3 , T ) (bs,512*3,T) (bs,512∗3,T),之后经过一个CRB结构,输出维度固定为 ( b s , 1536 , T ) (bs,1536,T) (bs,1536,T),即便frame-level的特征维度是1024,该CRB的输出维度也不变。如下图所示
对特征图 ( b s , 1536 , T ) (bs,1536,T) (bs,1536,T),记为h,按照T维度计算每个特征维度的均值和标准差,如上图的TSTP公式所示(符号 ⊙ \odot ⊙表示哈达玛积,即对应项相乘,两个因子的维度必须相同,从而结果的维度与因子的维度也相同),从而T维度消失,得到的均值和标准差维度均为 ( b s , 1536 ) (bs,1536) (bs,1536)
之后的操作很神奇,将均值在T维度重复堆叠T次,维度恢复为 ( b s , 1536 , T ) (bs,1536,T) (bs,1536,T),对标准差也是堆叠,维度恢复为 ( b s , 1536 , T ) (bs,1536,T) (bs,1536,T),接着将特征图、均值和标准差在特征维度进行串联,得到的特征图维度为 ( b s , 1536 ∗ 3 , T ) (bs,1536*3,T) (bs,1536∗3,T),记为H
对H进行1维卷积,等价于上图的 W × H + b W\times H+b W×H+b,目的是将每个frame的特征从1536*3维降维映射到F维,F可取128,然后经过tanh激活函数,得到特征图a,维度为 ( b s , F , T ) (bs,F,T) (bs,F,T)
对a进行1维卷积,等价于上图的 V × a + k V\times a+k V×a+k,目的是将每个frame的特征从F维恢复映射到与h相同的维度,即1536,然后在T维度,进行softmax激活,得到特征图a,维度为 ( b s , 1536 , T ) (bs,1536,T) (bs,1536,T)
基于Attention的均值和标准差,维度都为 ( b s , 1536 ) (bs,1536) (bs,1536),再将它们按照特征维度进行串联,得到ASP最终的输出,维度为 ( b s , 1536 ∗ 2 ) (bs,1536*2) (bs,1536∗2),在ECAPA-TDNN中,ASP之后还会接一个BN
BN
这一节是讲BN(Batch Normalization)的,可能观众会感觉我太啰嗦了,怎么连BN都要讲,主要是ECAPA-TDNN是一个完全的TDNN结构,连BN都是1维的,所以怕大家一下子转不过来弯,下面主要讲解1维BN,自认对BN滚瓜烂熟的观众,可跳过本节 t o r c h . n n . B a t c h N o r m 1 d ( n u m – f e a t u r e s , e p s = 1 e − 05 , m o m e n t u m = 0.1 , a f f i n e = T r u e , t r a c k – r u n n i n g – s t a t s = T r u e , d e v i c e = N o n e , d t y p e = N o n e ) torch.nn.BatchNorm1d(num \text{-} features, eps=1e-05, momentum=0.1, affine=True, track \text{-} running \text{-} stats=True, device=None, dtype=None) torch.nn.BatchNorm1d(num–features,eps=1e−05,momentum=0.1,affine=True,track–running–stats=True,device=None,dtype=None)
BN中的 n u m – f e a t u r e s num \text{-} features num–features是理解BN的关键,对于图像任务, n u m – f e a t u r e s num \text{-} features num–features要等于输入特征图的通道数,而对于音频任务, n u m – f e a t u r e s num \text{-} features num–features要等于 ( b s , F , T ) (bs,F,T) (bs,F,T)中的F
也就是说,BN必然是作用于图像的特征图通道,或者音频中frame的每个特征的, n u m – f e a t u r e s num \text{-} features num–features是告诉BN,均值和标准差,这两个向量的长度
BN计算均值和标准差的操作,与上述ASP的第一步,计算h_mean和h_std是类似的,不过计算的范围是在一个batch中 μ B = 1 b s ∗ T ∑ t b s ∗ T h t σ B 2 = 1 b s ∗ T ∑ t b s ∗ T ( h t − μ ) 2 \begin{aligned} \mu_B &= \frac{1}{bs*T} \sum_{t}^{bs*T} h_t \\ \sigma_B^2 &= \frac{1}{bs*T} \sum_{t}^{bs*T} (h_t – \mu)^2 \end{aligned} μBσB2=bs∗T1t∑bs∗Tht=bs∗T1t∑bs∗T(ht−μ)2
得到一个batch的统计量后,BN的输出也就确定了,不过需要先将 μ B \mu_B μB和 σ B 2 \sigma_B^2 σB2重复堆叠成 ( b s , F , T ) (bs,F,T) (bs,F,T)的大小,与输入BN的特征图H的维度相同,才能让其与H进行运算。在训练时,BN的输出 y t r a i n i n g = γ ∗ H − μ B σ B 2 + ϵ + β y_{training}=\gamma * \frac{H-\mu_B}{\sqrt{\sigma_B^2+\epsilon}} +\beta ytraining=γ∗σB2+ϵH−μB+β
此外,BN内部还有两个用于估计全局统计量的均值和标准差向量,在训练时,这两个向量根据每个batch的统计量进行更新,在测试时,BN会采用全局统计量对特征图进行规范化 μ s a m p l e = μ B σ s a m p l e 2 = b s ∗ T b s ∗ T − 1 σ B 2 μ r u n n i n g = ( 1 − m o m e n t u m ) ∗ μ r u n n i n g + m o m e n t u m ∗ μ s a m p l e σ r u n n i n g 2 = ( 1 − m o m e n t u m ) ∗ σ r u n n i n g 2 + m o m e n t u m ∗ σ s a m p l e 2 y e v a l u a t i n g = γ ∗ H − μ r u n n i n g σ r u n n i n g 2 + ϵ + β \begin{aligned} \mu_{sample}&=\mu_B \\ \sigma_{sample}^2&=\frac{bs*T}{bs*T-1} \sigma_B^2 \\ \mu_{running}&=(1-momentum)*\mu_{running}+momentum*\mu_{sample} \\ \sigma_{running}^2&=(1-momentum)*\sigma_{running}^2+momentum*\sigma_{sample}^2 \\ y_{evaluating}&=\gamma * \frac{H-\mu_{running}}{\sqrt{\sigma_{running}^2+\epsilon}} +\beta \end{aligned} μsampleσsample2μrunningσrunning2yevaluating=μB=bs∗T−1bs∗TσB2=(1−momentum)∗μrunning+momentum∗μsample=(1−momentum)∗σrunning2+momentum∗σsample2=γ∗σrunning2+ϵH−μrunning+β
其中
下标 r u n n i n g running running表示采用移动平均(running average)的方法对全局统计量进行估计
系数 m o m e n t u m momentum momentum是对当前batch的统计量的权重,可取 0.1 0.1 0.1