天天看點

深度學習中的組歸一化(GroupNorm)批歸一化(BN)的缺點歸一化的分類怎麼做效果參考資料

批歸一化(BN)的缺點

BN 需要用到足夠大的批大小(例如,每個工作站采用 32 的批量大小)。一個小批量會導緻估算批統計不準确,減小 BN 的批大小會極大地增加模型錯誤率。加大批大小又會導緻記憶體不夠用。

深度學習中的組歸一化(GroupNorm)批歸一化(BN)的缺點歸一化的分類怎麼做效果參考資料

歸一化的分類

深度學習中的組歸一化(GroupNorm)批歸一化(BN)的缺點歸一化的分類怎麼做效果參考資料

BN,LN,IN,GN從學術化上解釋差異:

  • BatchNorm:batch方向做歸一化,算N*H*W的均值
  • LayerNorm:channel方向做歸一化,算C*H*W的均值
  • InstanceNorm:一個channel内做歸一化,算H*W的均值
  • GroupNorm:将channel方向分group,然後每個group内做歸一化,算(C//G)*H*W的均值

LN 和 IN 在視覺識别上的成功率都是很有限的,對于訓練序列模型(RNN/LSTM)或生成模型(GAN)很有效。

是以,在視覺領域,BN用的比較多,GN就是為了改善BN的不足而來的。

GN 把通道分為組,并計算每一組之内的均值和方差,以進行歸一化。GN 的計算與批量大小無關,其精度也在各種批量大小下保持穩定。可以看到,GN和LN很像。

怎麼做

在現有深度學習架構下可以輕松實作組歸一化。

深度學習中的組歸一化(GroupNorm)批歸一化(BN)的缺點歸一化的分類怎麼做效果參考資料

效果

杠杠滴

深度學習中的組歸一化(GroupNorm)批歸一化(BN)的缺點歸一化的分類怎麼做效果參考資料

參考資料

FAIR何恺明等人提出組歸一化:替代批歸一化,不受批量大小限制

組歸一化(Group Normalization)的解釋