天天看點

Batch Normalization 的拆解操作

第一步:建立資料,這裡是兩個樣本,每個樣本是兩個通道的三乘四矩陣

Batch Normalization 的拆解操作

第二步: 求解所有樣本每個通道的均值, 注意次元

Batch Normalization 的拆解操作

第三步: 求解所有樣本的每個通道的方差, 注意次元

Batch Normalization 的拆解操作

第四步: 标準化處理

Batch Normalization 的拆解操作

第五步:整合成函數,并做處理

注:這個函數是從 ​​https://zhuanlan.zhihu.com/p/81891467​​ 抄來的

Batch Normalization 的拆解操作

第六步: 試驗一把

其實畫圖更好了解:

先求出每個通道的平均值和方差,然後每個樣本的該通道的每個值都需要根據這個均值和方差進行歸一化, 可以把每個通道看做一個特征, 然後對特征進行歸一化處理

繼續閱讀