與往年類似，今年的盤點分為入門解惑、優質教材及課程、語言、工具、GitHub 項目、經驗分享幾大闆塊。無論你是剛邁入 AI 領域的萌新，還是工作多年的資料分析師、煉丹師、碼農，這份合集都能幫到你。
如果這些都學完了還沒盡興，可以跳到文末連結找出往年教程合集。
入門解惑
去年，教育部公布了 35 所新增 AI 大學高校名單，為想學 AI 的同學提供了更多選擇。對于這部分剛邁入 AI 領域的萌新，我們提供了一系列完備的學習路線和入門教程：
- 完備的 AI 學習路線，最詳細的中英文資源整理
- 不交學費也能成為資料科學家，這裡有一條免費學習路徑
- 機器學習成才之路：這是一條 GitHub 高贊的學習路徑
- 入門機器學習，照這個課程清單按順序學就對了
- 18 個月自學 AI，2 年寫就三萬字長文，過來人教你如何掌握這幾個 AI 基礎概念
- 機器學習必學 10 大算法
- 機器學習基礎：相似度和距離度量究竟是什麼
- p 值是什麼？資料科學家用最簡單的方式告訴你
- Distribution is all you need：這裡有 12 種做 ML 不可不知的分布
- 計算機視覺入門大全：基礎概念、運作原理、應用案例詳解
- NLP 技術路線詳解：這是從數學到算法的藝術
- 深度強化學習入門難？這份資料手把手教會你
- 資料清洗&預處理入門完整指南
- 不要隻關注算法與模型，這裡有份産品級深度學習開發指南
- 沒人告訴你的大規模部署 AI 高效流程！
- 用純 NumPy 碼一個 RNN、LSTM：這是最好的入門方式了
- 為什麼我的 CV 模型不好用？沒想到原因竟如此簡單……
- 3 天上手，30 天精通！——深度學習 FPGA 加速器設計
- 預訓練語言模型關系圖+必讀論文清單，清華榮譽出品
- 學習 GAN 模型量化評價，先從掌握 FID 開始吧
- 生成式模型入門：訓練似然模型的技巧
- 如何入門 CUDA 并行計算？
- 圖像配準的前世今生：從人工設計特征到深度學習
當然，在搞定 AI 之前，你必須要先搞定數學：
- 像堆樂高一樣：從零開始解釋神經網絡的數學過程
- 刷臉背後，卷積神經網絡的數學原理原來是這樣的
- 1900 頁數學基礎：面向 CS 的線性代數、拓撲、微積分和最優化
- 人工智能中的線性代數：如何了解并更好地應用它
- 新手上路：圖文解讀助你了解和使用正規表達式
- 不可不知的資料科學入門數學指南
- 數學還能這麼學？高中要有這個網站我早就及格了
- 淺顯易懂！「高中數學」讀懂梯度下降的數學原理
- 高中就開始學的正态分布，原來如此重要
接下來是一些簡短而全面的教程，「一文讀懂」基本概念：
- 卷積有多少種？一文讀懂深度學習中的各種卷積
- 從 ReLU 到 GELU，一文概覽神經網絡的激活函數
- 關于圖算法 & 圖分析的基礎知識概覽
- 圖論與圖學習（一）：圖的基本概念
- 圖論與圖學習（二）：圖算法
- PageRank、最小生成樹：ML 開發者應該了解的五種圖算法
- 一文讀懂：圖卷積在基于骨架的動作識别中的應用
- HyperparameterHunter 3.0：一文教你學會自動化特征工程
相比于文字，圖解教程能夠幫助你更直覺、快速地領會知識的精髓：
- 圖解神經機器翻譯中的注意力機制
- 圖解人工智能，這群大學生做了個有趣的互動項目（中文版）
- 圖解 NumPy，這是了解數組最形象的一份教程了
- 完全圖解 GPT-2：看完這篇就夠了（一）
- 完全圖解 GPT-2：看完這篇就夠了（二）
- 透過現象看本質，圖解支援向量機
- 能「看到」的張量運算：因子圖可視化
- BERT 模型超酷炫，上手又太難？請查收這份 BERT 快速入門指南！
- 包學包會，這些動圖和代碼讓你一次讀懂「自注意力」
- 手把手教你将矩陣&機率畫成圖
- 手把手教你将矩陣畫成張量網絡圖
- 看得見的高斯過程：這是一份直覺的入門解讀
優質教材、課程
如果你去購物網站、線上課程網站直接搜尋，會發現與「人工智能」相關的圖書資料有上萬種，課程也有數百種。在學習資料異常豐富的今天，挑出優質的教材、課程也成了一大難題。不過不用擔心，在機器之心編輯部和讀者的共同努力下，今年的優質參考書、課程都已經篩選好了：
開卷有益
2019 年，周志華等多位老師聯合撰寫的《演化學習：理論與算法進展》問世；李航老師的《統計學習方法》第二版上線；李沐老師的《動手學深度學習》有了 TF 2.0、PyTorch 版本；貝葉斯之父 Judea Pearl 的《The Book of Why》也有了中文版本……要擷取這些優質教材的新動向，關注機器之心就夠了：
- 十四年的 NYU 教學精華，開放書《機器學習基礎》第二版可以下載下傳啦
- 李航《統計學習方法》第二版上線，6 年耕耘增加無監督學習（新書贈送）
- 學它！李航《統計學習方法》課件，清華大學深圳研究院教授制作
- 實戰入門深度學習，李沐中文新書贈送
- 全新版本，李沐《動手學深度學習》TF2.0 版本來了
- PyTorch 版《動手學深度學習》開源了，最美 DL 書遇上最贊 DL 架構
- 開放下載下傳！複旦大學邱錫鵬教授釋出教科書《神經網絡與深度學習》
- 「機器學習基礎與趨勢」系列叢書最新成員：140 頁《深度強化學習入門》釋出
- 南大周志華、俞揚、錢超最新力作：《演化學習：理論與算法進展》正式上線
- 線性代數與資料學習：MIT 教授 Gilbert Strang 幫你打下堅實的數學基礎
- 沉浸式學習線性代數！這裡有一本全互動的線性代數書
- 一圖勝千言，這本互動式線代教科書讓你分分鐘了解複雜概念，佐治亞理工出品
- 一場因果革命，Judea Pearl 最新力作《為什麼》中文版釋出（贈書）
- 為機器學習插上因果推理的翅膀：這是一本系統的因果推理開源書
- 500 頁開放書搞定機率圖模組化，圖靈獎得主 Judea Pearl 推薦
- 集 20 年之大成，這是一本開源的算法教科書
- 從六大概念總結吳恩達新書：做好工程實踐應該這樣走
- 從算法到 HPC：最全優秀程式設計書籍清單
- 如何用 Julia 做資料統計？這裡有一本全面教材（附代碼圖示）
- 系統探讨「跨語言詞嵌入」，這是一本剛出爐新書
站在巨人的肩膀上
除了以上經典教材，還有些優質課程可以參考。這些課程來自麻省理工學院、斯坦福大學、多倫多大學、哥倫比亞大學等多所國内外知名高校，授課者包括 Bengio、吳恩達、李宏毅等名師：
- 做個愛學習的孩子！收藏 2019 知名機器學習暑期學校大清單
- 選機器學習課程怕踩雷？有人幫你選出了 top 5 優質課
- 硬核暑假要學習：Imperial College London 開放 ML 暑期課程視訊
- 中文課程！台大李宏毅機器學習公開課 2019 版上線
- 李宏毅機器學習完整筆記釋出，AI 界「最熱視訊部落客」中文課程筆記全開源
- MIT 2019 深度學習課程開課，第一課視訊&PPT 已放出
- 14 周無監督學習課程，UC 伯克利出品，含課件、視訊
- 吳恩達深度學習課最新補充教程：互動式 demo 助你輕松了解神經網絡
- Bengio、Sutton 的深度學習&強化學習暑期班又來了，2019 視訊已放出
- 時隔兩年，斯坦福 NLP 标準公開課 CS224N 将再次開放視訊
- 學習時間！2019 斯坦福 CS224n、CMU NLP 公開課視訊開放啦
- 隻知道 CS224N？斯坦福最新推出 NLU 公開課 CS224U
- 社科 NLP 課程來了：斯坦福開年公開課主講 NLP 和社交網絡應用
溫故而知新
教程、課程看完一遍很容易忘記，這時候就需要筆記來幫忙了。在過去的一年中，我們發現了以下幾份優秀的筆記項目，可以作為學習的輔助材料。
- 80 頁筆記看遍機器學習基本概念、算法、模型，幫新手少走彎路
- 百頁課程筆記，統計實體視角下的深度學習
- 周志華西瓜書詳細公式推導，Datawhale 開源 pumpkin-book 項目
- 一日千星的「機器學習系統設計指南」，這個英偉達小姐姐的項目火了
語言
去年 11 月，地産大佬潘石屹突然宣布開始學 Python，衆讀者紛紛驚呼：居然不是廣告？從這串長長的清單來看，你大概能夠體會到 Python 有多火了，畢竟它也是最有益于保持頭發濃密的語言之一。在這部分，我們列舉了 Python 的官方文檔、使用技巧、實用工具包等有用資訊（誰幫忙 @ 一下潘總？）。
- Python 用不好？看官方中文文檔啦
- Python 從入門到精通：一個月就夠了！
- 微軟出品，文科生也能學得懂的 Python 免費入門視訊
- 程式設計大神進階之路：Python 技巧小貼士
- 30 段極簡 Python 代碼：這些小技巧你都 Get 了麼
- 學 Python，從清單推導到 zip() 函數，這五種技巧應知應會
- 疊代清單不要 For 循環，這是 Python 清單推導式最基本的概念
- 7 個 Python 特殊技巧，助力你的資料分析工作之路
- Python 3.8 即将到來，這是你需要關注的幾大新特性
- 詳解 Python 3.8 的海象算子：大幅提高程式執行效率
- Python 初學者常犯的 5 個錯誤，布爾型竟是整型的子類
- Python 的進階特征你知多少？來對比看看
- 新手如何釋出第一個 Python 項目開源包？這裡有一份詳細指南
- 如何從 C++轉 Python：改變你的思維方式
- 用半勵志的方式告訴你，怎麼學習 Python 開發
- 平均 3293 顆星的 34 個年度開源 Python 庫
- 這裡有 8 個流行的 Python 可視化工具包，你喜歡哪個？
- 一文讀懂 Python 裝飾器，這是一個會打扮的裝飾器
- 哪種 Python IDE 最适合你？這裡有一份優缺點清單
- 人生苦短，我用 PyCharm
- Python 新工具：用三行代碼提取 PDF 表格資料
- 想成為高效資料科學家？不會 Pandas 怎麼行
- DeBug Python 代碼全靠 print 函數？換用這個一天 2K+Star 的工具吧
- 如何将 Numpy 加速 700 倍？用 CuPy 呀
- 用 Python 登入主流網站，我們的資料爬取少不了它
- Windows 檔案名非用反斜杠？Python 小技巧幫你解決這個麻煩
- 如何在 Windows 上做 Python 開發？微軟出了官方教程
- 在 Win 上做 Python 開發？當然是用官方的 MS Terminal 和 VS Code 了
- 40 行 Python 代碼，實作卷積特征可視化
- Heartrate：如追綜心跳般實時動态可視化監測 Python 程式運作
- 四種高性能資料類型，Python collections 助你優化代碼、簡潔任務
- PySpark 源碼解析，教你用 Python 調用高效 Scala 接口，搞定大規模資料分析
工具及技巧
古人說過，「工欲善其事，必先利其器」。工具的好壞及使用技巧與我們的學習效果息息相關。要列舉 AI 學習中用到的重要工具，首先要從深度學習架構說起。
深度學習架構
2019 年，ML 架構之争中隻剩兩個實力玩家：PyTorch 和 TensorFlow。研究者大批湧向 PyTorch，而業界的首選仍然是 TensorFlow。是以，這部分着重篩選出這兩個架構的相關教程。
- TensorFlow 與 PyTorch 之争，哪個架構最适合深度學習
- PyTorch 稱霸學界，TensorFlow 固守業界，ML 架構之争将走向何方？
- 一行代碼切換 TensorFlow 與 PyTorch，模型訓練也能用倆架構
- Texar-PyTorch：在 PyTorch 中內建 TensorFlow 的最佳特性
1. TensorFlow
- 英文教程太難啃？這裡有一份 TensorFlow2.0 中文教程（持續更新中）
- TensorFlow 2.0 中文開源書項目：日贊 700，登上 GitHub 熱榜
- 請快點粘貼複制，這是一份好用的 TensorFlow 代碼集
- 你真的會正确地調試 TensorFlow 代碼嗎？
- Tensorflow Lite 人體姿勢跟蹤功能上線：基于 PosNet 的實時人體姿态估計
- 如何在 TensorFlow 2.0 中建構強化學習智能體
- TensorFlow 2.0 中的 tf.keras 和 Keras 有何差別？為什麼以後一定要用 tf.keras？
2.PyTorch
- 萬字綜述，核心開發者全面解讀 PyTorch 内部機制
- 60 分鐘入門 PyTorch，官方教程手把手教你訓練第一個深度學習模型
- 點贊收藏：PyTorch 常用代碼段整理合集
- LeCun 力薦，PyTorch 官方權威教程書來了，意外的通俗易懂
- PyTorch 進階之路（一）：張量與梯度
- PyTorch 進階之路（二）：如何實作線性回歸
- PyTorch 進階之路（三）：使用 logistic 回歸實作圖像分類
- PyTorch 進階之路（四）：在 GPU 上訓練深度神經網絡
- PyTorch 最佳實踐，怎樣才能寫出一手風格優美的代碼
- 分布式入門，怎樣用 PyTorch 實作多 GPU 分布式訓練
- 五天入門深度學習，這裡有一份 PyTorch 實戰課程
- 三四行代碼打造元學習核心，PyTorch 元學習庫 L2L 現已開源
- 超原版速度 110 倍，針對 PyTorch 的 CPU 到 GPU 張量遷移工具開源
- 基于 PyTorch 的「Keras」：除了核心邏輯通通都封裝
- 基于 PyTorch 的 CV 模型架構，北大學生出品 TorchCV
其他工具
1. 神奇的編輯器
- 世界上最好的編輯器 Vim：1700 多頁數學筆記是如何實時完成的
- 最好用的文字與公式編輯器，這套數學筆記神器送給你
- 免費數學神器 Mathpix 釋出移動版，一起來寫更快的公式
- 公式免費轉 LaTex 代碼，截圖、轉換一氣呵成，每月 1000 次全免費
- 寫下 LaTeX 代碼就要看結果？這款編輯器讓你「所見即所得」
- 向 Excel 說再見，神級編輯器統一表格與 Python
2. 代碼補全利器
3.Git
- 如何優雅地向别人介紹高端大氣上檔次的 Git
- 你可能不太會用的 10 個 Git 指令
- 走在前沿的弄潮兒，怎能不會 Git 的那些奇技淫巧
- 根據 Git 推算程式員大佬作息：同樣是熬夜，為什麼他發量那麼多？
4. 筆記本
- 是時候聯盟 Jupyter 與 PyCharm 了，Jupytext 就是你需要的
- 隻有想不到，「99」種擴充 Jupyter 功能的好方法
- Jupyter Notebook 界面也可以如此炫酷？有人把 Notebook 玩出了新花樣
- 增強 Jupyter Notebook 的功能，這裡有四個妙招
- Netflix 開源 Polynote：對标 Jupyter，一個筆記本運作多種語言
5. 其他
- 指令行忘性大？這個開源備忘工具一次解決你的所有煩惱
- 50 種常用的 matplotlib 可視化，再也不用擔心模型背着我亂跑了
- 新模型學到頭秃？gobbli 統一模型庫幫你快速上手文本分類，内置 BERT、fastText 等
- 內建圖網絡模型實作、基準測試，清華推出圖表示學習工具包
- 強化學習、聯邦學習、圖神經網絡，飛槳全新工具元件詳解
- 更改形狀和背景色、自定義風格、顔色流動…這款詞雲工具都能做到
技巧
這裡還有一些小技巧，可以幫助你解決一些「令人頭秃」的問題：
- 模型秒變 API 隻需一行代碼，支援 TensorFlow 等架構
- 圖像轉換 3D 模型隻需 5 行代碼，英偉達推出 3D 深度學習工具 Kaolin
- 如何讓計算機工作環境更便捷？幾行簡單的指令即可
- GitHub 最熱！碼代碼不得不知的所有定律法則
- 資料科學家易犯的十大編碼錯誤，你中招了嗎？
- 5 種高效利用 value-counts 函數的方法，一鍵提升資料挖掘姿勢水準
- 資料處理遇到麻煩不要慌，5 個優雅的 Numpy 函數助你走出困境
- 記憶體不足、錢包不鼓怎麼辦？三種技巧助你擺脫記憶體使用困境
- 26 秒單 GPU 訓練 CIFAR10，Jeff Dean 也點贊的深度學習優化技巧
- 還在為資料清洗抓狂？這裡有一個簡單實用的清洗代碼集
GitHub 年度精選
作為全球最大的同性交友網站，GitHub 上幾乎能找到你想要的一切。「我在 GitHub 上北大，他在 Pornhub 考研究所學生」這句話不是說說而已（忽略後半句）：
- 這是一份專為程式員編寫的英語學習指南
- Github 近 5 萬贊的計算機專業課程，從小白到大牛的學習之路
- GitHub 上 Star 量最高的 5 個機器學習項目
- GitHub 不為人知的小秘密…讓你的工作更高效
同時，GitHub 上還有很多神奇項目，讓我們流連忘返，唱、跳、Rap、籃球，應有盡有：
- 我這個人不懂什麼 CPU，于是我用代碼模拟出了一個
- 框一下就能從視訊隐身，這是現實版的「隐身衣」？
- 在浏覽器訓練個剪刀石頭布探測器，你的小電腦也可以
- 漫畫漢化組福音：深度學習工具一鍵摳圖
- 你跳宅舞的樣子很專業：不，這都是 AI 合成的結果
- 用自己的風格教 AI 說話，語言生成模型可以這樣學
- 破解神經網絡、攻擊 GPU，AI 黑客教程來了，已登 GitHub 熱榜
- 老婆問「我今天穿什麼合适」？讓 AI 來幫你想答案吧
- Github 中文項目排行榜，你永遠想不到開發者都用它幹了什麼
- 隻需單擊三次，讓中文 GPT-2 為你生成定制故事
- 決戰春運之巅，我們用這個項目搶到了火車票
- 真工程師：20 塊錢做了張「名片」，可以跑 Linux 和 Python
- 3D 模型學會了「唱、跳、Rap、籃球」，GitHub 網友也沉迷「雞你太美」
- 使用 Python 和 Mask R-CNN 自動尋找停車位，這是什麼神操作？
- 用霍夫變換&SCNN 碼一個車道追蹤器
- 驚為天人，NumPy 手寫全部主流機器學習模型，代碼超 3 萬行
- 讓大衛雕塑跳舞、蒙娜麗莎說話，英偉達視訊合成有如此多「騷操作」
- 大小僅 1MB，超輕量級通用人臉檢測模型登上 GitHub 趨勢榜
- 讓二次元妹子動起來，用一張圖生成動态虛拟主播
一個靠譜的資料集會讓模型訓練工作事半功倍，這一年裡，我們分享過這些優質 GitHub 資料集：
- 情人節：一本正經地為單身狗推薦這個 158 萬張圖像的鑒黃資料集
- DeepFashion2 資料集：87.3 萬對買家秀-賣家秀圖像+海量标注
- 神經網絡也能解數學題，DeepMind 釋出千萬數學題海資料集
- 280 萬分割掩碼，谷歌 Open Images 資料集再更新
- 找不到合适的資料？這裡有 281 個計算機視覺資料集任你選
- 打擊換臉技術濫用，谷歌釋出大型資料集對抗 deepfake
- 圖神經網絡的 ImageNet？斯坦福大學等開源百萬量級 OGB 基準測試資料集
- 20 個安全可靠的免費資料源，各領域資料任你挑
- 開放的一天，吳恩達、谷歌、Facebook 紛紛開源資料集
經驗分享，「深度好文」
最後，我們總結了一系列經驗分享，涵蓋讀博、面試、職場經驗等多個方面。低頭趕路的時候，也要擡頭看看遠方。
讀博那點事兒
- 博士生的 deadline 血淚史，這是一份來自 Nature 的避坑指南
- 守住發際線：南大蔣炎岩談讀博那些事兒
- 成為資料科學家，到底需要怎樣的學曆？
- 讀博一時爽，不聽這些建議會一直爽……
- 畢業論文無從下手？一文幫你理清頭緒
- Science「勸退文」：讀博壓力山大，是時候退學了
- 讀博熬不住了，拿個碩士學位投身業界如何？看過來人怎麼說
備戰春招
- 準備好春招了麼？上科大小哥的面試題與複習資料祝你寒假無憂
- 春招已近，這份 GitHub 萬星的 ML 算法面試大全請收下
- 春招苦短，我用百道 Python 面試題備戰
- 技術面試中，當面試官「套路」你時，怎麼「反套路」回去？
- 如何把薪資談高一倍？請看大廠 offer 拿到手軟的 ML 大神自述
- 2019 聯考程式設計卷：谷歌面試程式設計題及解題技巧（MIT 版）
- 準備程式員面試？你需要了解這 14 種程式設計面試模式
- 備戰秋招：國内大廠技術面試指南，GitHub 六千星
- 百道 Python 面試題實作，搞定 Python 程式設計就靠它
職業生涯回顧與行業展望
- 陳天奇：深度學習編譯技術的現狀和未來
- 資料科學崗位将在未來 5 年内重新洗牌，你準備好轉型了嗎？
- 微軟沈向洋自述：在實作職業目标的道路上，我得到了七個教訓
- 在 12 家科技創業公司工作後，這是我的 8 條經驗
- 這是一篇關于如何成為一名 AI 算法工程師的長文
- 谷歌進階研究員 Nature 發文：避開機器學習三大「坑」
- 香侬科技李紀為：初入 NLP 領域的一些小建議
- 我從資深軟體工程師學到的避坑大法
- 五個給機器學習和資料科學入門者的學習建議
- 獨立研究中頂會 Spotlight，從讀博就業無門到一舉成名，這位小哥的經驗分享火了
碼農的自我修養
- 進階碼農反思錄：我當菜鳥時不懂的七件事
- 谷歌軟體工程師分享程式設計經驗：有效的流程很關鍵
- 你已經是一個成熟的碼農了，這些思維習慣你要有
- 經驗之談：代碼該怎樣寫才能幹淨整潔（36 頁）
- 如何把自己包裝成程式員大佬？這裡有一份「裝 X 指南」
- 16 歲成為全棧開發者：我從開發遊戲到寫加密貨币投資機器人的心路曆程
- 脫發、秃頭防不勝防？這裡有一份給碼農的減壓指南
參賽、參會經驗貼
- 年輕人的第一塊金牌：我是如何成為 Kaggle 全網第一的
- 半年 5 戰 5 金：Kaggle 史上最快 GrandMaster 是如何煉成的
- 7 年斬獲 15 金，最高全球第 8：Kaggle Grandmaster 分享競賽經驗
- 想在 Kaggle 中脫穎而出？先聽聽這位 GrandMaster 怎麼說
- Kaggle 首戰斬獲第三，看深度學習菜鳥團隊如何一鳴驚人
- 僅需 10 分鐘：開啟你的機器學習之路
- 除了 Kaggle，這裡還有一些高品質的資料科學競賽平台
- 如何在 9000 多人的 NeurIPS 會場優雅地展示 Poster
- 數千人頂會的幹貨，ICML、CVPR2019 演講視訊資源在此
往年教程盤點
- 2018： 新年大禮包：機器之心 2018 高分教程合集
- 2017： 靈魂追問 | 教程那麼多，你……看完了嗎？
- 2016： 人工智能從入門到進階，機器之心高分技術文章全集
過去幾年的幹貨都在這裡了，flag 是不是也該立起來了？
明年想上牆的朋友歡迎留言。
本文為機器之心整理，轉載請聯系本公衆号獲得授權。