《深度學習》，又名“花書”。該書由三位大佬 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 撰寫，是深度學習領域奠基性的經典教材，被譽為深度學習“聖經”。
原書内容非常充實，接近 800 頁。讀完之後，及時進行高度概括和經驗總結是十分有幫助的。本文給大家介紹一份來自 Microsoft 計算機軟體工程師 Jeff Macaluso 總結的關于花書的精髓筆記，我們一起來看一下吧！
筆記位址：
https://jeffmacaluso.github.io/post/DeepLearningRulesOfThumb/為什麼寫這份筆記？
關于為什麼寫這份筆記，作者是這麼說的：
當我在研究所學生院第一次學習神經網絡時，我問我的教授在選擇架構和超參數時是否有經驗法則。我半以為他會回答：好吧，有點，但不是真的。畢竟對于神經網絡來說，有比其他機器學習算法更多的選擇！當我讀到 Ian Goodfellow, Yoshua Bengio 和 Aaaron Courville 的《深度學習》一書時，我一直在思考這個問題，并決定編制一份貫穿這本書的知識清單。事實證明，它們還有很多，特别是它們可以完成很多類型的神經網絡和任務。
如何評價這份筆記？
作者這樣評價自己的這份筆記：
有趣的是，這些經驗法則中有很多并沒有很好地建立起來——深度學習仍然是一個相對較新的研究領域，是以下面列出的許多規則隻是研究人員最近發現的一些東西。除此之外，在這本書中還有很多領域，作者會陳述（更多學術術語）“我們不知道為什麼這是有效的，但我們可以看到它是有效的”或者“我們知道這不是最好的方法，但它是一個活躍的研究領域，我們目前不知道任何更好的方法”。
同時也對花書作了中肯的評價：
這不是一個深入學習的書評，但如果你想更深入地了解更成熟的方法以及研究的活躍領域（在出版時），我個人會推薦它。Fast.ai 的 Jeremy Howard（一個學習深入學習實踐方面的優秀來源）批評了這本書，因為它過于關注數學和理論，但我發現除了我跳過的所有數學公式外，它還很好地解釋了概念和實踐方法背後的直覺。
筆記目錄：
這份完整的精髓筆記目錄包括：
1. 應用數學與機器學習基礎
- 介紹
- 數值計算
- 機器學習基礎
2. 深度網絡：現代實踐
- 深度前饋網絡
- 深度學習中的正則化
- 深度模型中的優化
- 卷積網絡
- 序列模組化：循環和遞歸網絡
- 實踐和方法論
- 應用
3. 深度學習研究
- 線性因子模型
- 自編碼器
- 表示學習
- 深度學習中的結構化機率模型
- 蒙特卡羅方法
- 近似推斷
- 深度生成模型
同時，作者整理了筆記的精簡版關鍵知識點 TR:DR，便于快速浏覽。