Google 深度學習筆記 - Limit of Linear Model

https://www.toutiao.com/a6679981747167298051/

實際要調整的參數很多

如果有N個Class，K個Label，需要調整的參數就有(N+1)K個

Linear Model不能應對非線性的問題

Linear Model的好處

GPU就是設計用于大矩陣相乘的，是以它們用來計算Linear Model非常高效

Stable：input的微小改變不會很大地影響output

求導友善：線性求導是常數

我們想要參數函數是線性的，但整個model是非線性的

是以需要對各個線性模型做非線性組合

最簡單的非線性組合：分段線性函數（RELU）

來源：ahangchen / https://github.com/ahangchen/GDLnotes ，隻作分享，不作任何商業用途，版權歸原作者所有