[ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

搭建的網絡太深導緻低層的梯度太小，經大牛點撥後才知道batch normalization就是處理該問題才提出的，于是後知後覺知道這篇文章原來非常有用，深深覺得慚愧，覺得自己太搓了．看來修煉之路還很長，要耐心堅持，點點滴滴積累．

文中出現的機器學習的術語介紹：

白化：白化的目的是去除（降低）資料的備援資訊，白化處理後細膩的資料滿足兩個性質（１）特征之間相關性較低（２）所有特征具有相同的方差．

http://blog.csdn.net/hjimce/article/details/50864602

http://blog.csdn.net/whiteinblue/article/details/36171233

協方差和相關系數：

https://www.zhihu.com/question/20852004

中午飯後更