深度学习基础

  • high variance/data mismatch
    • what is data mismatch
    • how to solve data mismatch
    • data synthesis数据合成
  • 迁移学习与预训练/微调
    • 什么时候用迁移学习

high variance/data mismatch

what is data mismatch

如果训练集和验证集的loss不一样,且验证集的loss高很多,有2种原因:
1.方差太大。模型没见过,没学习到;
2.数据不匹配。训练集和验证集的数据分布不同。

how to solve data mismatch

currently no systematic ways to solve, so try:

  1. manually error analysis
  2. make training and dev sets more similar.

data synthesis数据合成

make similar的方法包括数据合成。比如含有噪音的音频。
但是要注意:噪音背景需要和清晰的音频一样diverse,不能音频有1000条,噪音只有1条,要不然可能过拟合。
该方法在音频识别种效果很好。

迁移学习与预训练/微调

迁移学习是原本适用于taskA的模型同样应用在taskB。
为了能够使其适用于TaskB,需要对模型进行进一步训练,这个过程取决于taskB的样本数量。

  1. 如果样本数量较少,就重新训练最后一层layer或最后几层,其他layers固定不变;
  2. 如果样本数量很多,可以对整个模型重新进行训练。
    对于最终的taskB来说,taskA过程的训练就是预训练,对于taskB的训练是微调。

什么时候用迁移学习

  1. taskA和taskB输入相同,如都是图片
  2. taskA的样本远多于taskB
  3. taskA的低层次特征low level features有助于taskB