谷歌大腦開源最強調參指南。
強烈推薦谷歌大腦團隊最近開源的深度學習調參指南，目前已獲得9K個星标。這份指南主要介紹如何調整超參數，并涉及深度學習訓練的其他方面，如 pipeline 實作和優化。在發現該倉庫時，其星标數僅為1K，而目前已達到9.1K，可見其受歡迎程度。該指南分為四個部分：1234，簡單介紹一下。
·第一個部分介紹如何開始一個新項目。在開始一個項目時，需要考慮哪些優先事項，如選擇模型架構、選擇優化器、确定batch size大小以及初始化參數等。
·第二個部分介紹改善模型性能的科學方法。其中包括增量調整政策、明确實驗疊代步驟、選擇激活函數和學習率等實踐經驗。
·第三個部分介紹每次訓練的步驟數，主要涉及最大訓練步數的優化問題。
·第四個部分介紹其他經驗，如評估模型性能、選擇模型檢查點、批量處理等實驗細節。
總體而言，我認為這份文檔的含金量較高，細節豐富，相關論文也可作為拓展閱讀。建議仔細閱讀。
