天天看點

為何神經網絡權重初始化要随機初始化,不能以0為初始化

根據deeplearn.ai吳恩達深度學習課程3.11總結

因為如果W初始化為0 則對于任何Xi,每個隐藏層對應的每個神經元的輸出都是相同的,這樣即使梯度下降訓練,無論訓練多少次,這些神經元都是對稱的,無論隐藏層内有多少個結點,都相當于在訓練同一個函數。

作者:郭耀華

出處:http://www.guoyaohua.com

微信:guoyaohua167

郵箱:[email protected]

本文版權歸作者和部落格園所有,歡迎轉載,轉載請标明出處。

【如果你覺得本文還不錯,對你的學習帶來了些許幫助,請幫忙點選右下角的推薦】

為何神經網絡權重初始化要随機初始化,不能以0為初始化