批歸一化（BN）的缺點
BN 需要用到足夠大的批大小（例如，每個工作站采用 32 的批量大小）。一個小批量會導緻估算批統計不準确，減小 BN 的批大小會極大地增加模型錯誤率。加大批大小又會導緻記憶體不夠用。
歸一化的分類
BN，LN，IN，GN從學術化上解釋差異：
- BatchNorm：batch方向做歸一化，算N*H*W的均值
- LayerNorm：channel方向做歸一化，算C*H*W的均值
- InstanceNorm：一個channel内做歸一化，算H*W的均值
- GroupNorm：将channel方向分group，然後每個group内做歸一化，算(C//G)*H*W的均值
LN 和 IN 在視覺識别上的成功率都是很有限的，對于訓練序列模型（RNN/LSTM）或生成模型（GAN）很有效。
是以，在視覺領域，BN用的比較多，GN就是為了改善BN的不足而來的。
GN 把通道分為組，并計算每一組之内的均值和方差，以進行歸一化。GN 的計算與批量大小無關，其精度也在各種批量大小下保持穩定。可以看到，GN和LN很像。
怎麼做
在現有深度學習架構下可以輕松實作組歸一化。
效果
杠杠滴
參考資料
FAIR何恺明等人提出組歸一化：替代批歸一化，不受批量大小限制
組歸一化（Group Normalization）的解釋