天天看點

pytorch參數預設初始化方式

結論: 因版本而定。 早期的版本用Xavier, 後期的版本用kaiming_normal

            目前我所知1.1版本之後是用 kaiming_normal

            自己版本對應可以去torch庫中檢視。

過程:

       從部落格 https://blog.csdn.net/qq_36338754/article/details/97756378  貼的代碼來看。

       reset_parameter 函數下面是Xavier初始化。

       但從 https://www.jianshu.com/p/f97791393439  貼的代碼來看,

       reset_parameter 函數下面是kaiming_normal 初始化。

       不過有一點她說自己torch1.2是預設kaiming_normal。 那應該是版本差別吧。

       是以我去我的torch1.1庫裡扒拉了看conv.py, 也是kaiming_normal 

疑惑:

        我不确定這種不同是版本問題還是時間問題。希望有錯指正。

繼續閱讀