來源：淘系技術公衆号
作者：淘系技術
Q：NLP領域，有哪些值得推薦的綜述性文章？
松嶺：
NLP領域覆寫的應用場景較多，其中很多場景都需要對文本進行深度的語義分析才能夠較好的完成任務，例如問答、翻譯、對話、指代消解等。而其中很多任務由于标注成本非常高，能夠擷取的有監督語料比較少，傳統的序列标注模型能夠提升的幅度有限。
近年來，随着預訓練模型的發展，越來越多的NLP任務範式都演變成了先用大規模無監督語料進行預訓練或者是使用已經訓練好的預訓練模型進行初始化，然後在對應的子任務上再次進行參數拟合。
首先，重點可以閱讀複旦大學邱錫鵬老師寫的
閱讀位址：
https://arxiv.org/pdf/2003.08271.pdf邱老師的綜述文章對預訓練的前因後果做了詳細的介紹，針對預訓練的模型設計、應用場景相關的論文做了精細的分類和整理：
邱老師寫的這本書也非常推薦深入學習下。
從工業界應用的角度來看，可以分這些領域和話題重點關注。
▐ 多模态相關
在實際的應用場景中，使用者對于外部世界的感覺是多模态的，如何利用語音、圖像以及一些知識圖譜等來提升預訓練的效果是未來一個重要的探索、突破方向。
相關的文章可以補充看看近期百度提出的這篇：
https://arxiv.org/abs/2012.1540以及阿裡巴巴的這篇：
https://arxiv.org/pdf/2003.13198.pdf▐ 快速提升模型的訓練速度以及線上解碼的效率
這篇綜述也值得拓展閱讀，從模型結構、效率優化、應用場景等多個次元詳細介紹了Transformer相關研究的最新進展。
由于Transformer的模型結構簡潔、高效，能夠充分利用大規模訓練語料的優勢，目前不僅在NLP領域成為标配，在圖像、語音和推薦等重要領域都在朝着SOTA邁進，很有必要持續跟進相關的研究工作進展。
▐ 語言生成
語言生成是NLP領域的重要分支，其中的機器翻譯和多輪對話在工業屆已經有不錯的落地場景，相關的研究工作也值得仔細閱讀。
傳統的語言生成相關的任務，可以看下前幾年的一篇綜述：
佛閱讀位址：
https://arxiv.org/abs/1703.09902機器翻譯的最新進展可以關注下谷歌AI和谷歌翻譯2020的總結 ：
https://ai.googleblog.com/2020/06/recent-advances-in-google-translate.html https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html#Translation涉及多語種、低資源和測評多個領域的研究進展，以及Facebook FAIR的NMT進展
https://arxiv.org/abs/2010.11125機器翻譯的測評。
http://www.statmt.org/wmt20/每年國内外知名科研機構和工業界都有團隊參加，貢獻的技術報告也可以了解到目前實用的提升翻譯性能的機器翻譯技術。
Philipp Koehn 17年寫的這篇，裡面提到的挑戰是NMT領域未來重點關注的方向。
https://www.aclweb.org/anthology/W17-3204.pdf▐ 對話領域
對話領域可以重點關注下谷歌去年的工作，簡單粗暴的大模型和大資料直接碾壓了之前SOTA的結果。
https://arxiv.org/abs/2001.09977 谷歌的 Meena 和 Facebook 的Blender 很好地诠釋了深度學習在NLP領域的一個發展方向：簡單粗暴+大力出奇迹。
https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.htmlQ：圖神經網絡，有哪些值得推薦的綜述性文章
豆苗：
圖神經網絡和卷積神經網絡有着一脈相承的理論基礎，建議可以此先了解卷積神經網絡的一些基礎理論知識。這個可以直接看吳恩達老師《卷積神經網絡》的第一周課程。
至于圖神經網絡，它是2017年才逐漸火起來的，相應的系統性的資料較少。這裡給題主列出一些我自己在學習時使用到的書籍、視訊等資料。
《深入淺出圖神經網絡》，這本書是從原理、算法、實作、應用4個次元詳細講解圖神經網絡的，整體排版很舒服，對于想快速上手的小夥伴較為友好。
https://www.zhihu.com/topic/21216055/hot目前有的兩大類較火的GNN方向，一個是譜域的卷積的代表GCN，背後有很深的理論支撐，可以關注問題
如何了解 Graph Convolutional Network（GCN），下面有很多大神的精彩回答。
另一個是空域卷積的代表GraphSAGE和GATs。可以搭配b站上
2020 圖神經網絡線上研讨視訊一起食用，視訊中有唐傑老師、石川老師、沈華偉老師以及宋國傑老師四位領域大牛介紹圖神經網絡，有基礎有前沿，适合快速掌握領域科研趨勢。
在有了上面知識後，可以嘗試去看論文，進一步深入探究。這裡給出清華大學在GitHub上的一個必讀論文的彙總——
https://github.com/thunlp/GNNPapers最後在實作方面，目前已經有很多公司針對圖資料的訓練推出了圖神經網絡的架構。這裡主要列出三個學術界常用架構，供題主根據實際任務快速實作自己圖神經網絡。
Deep Graph Library（DGL）：由New York University（NYU）和Amazon Web Services（AWS）聯合推出，支援PyTorch、MXNet和TensorFlow作為其後端。
github：github.com/dmlc/dgl
幫助文檔：docs.dgl.ai/
PyTorch Geometric（PyG）：由德國多特蒙德工業大學推出，對PyTorch使用者來說是極為友好。
github：github.com/rusty1s/pyto
幫助文檔：pytorch-geometric.readthedocs.io
tf_geometric：GNN的TensoFlow版本，适合tf使用者。
github：github.com/CrawlScript/
幫助文檔：tf-geometric.readthedocs.io
一家之言，歡迎補充與交流。
Q：推薦領域，有哪些值得推薦的綜述性文章
萌胖：
推薦領域覆寫的應用場景較多，工業界的推薦系統架構介紹首推谷歌2016年的論文：
Deep Neural Networks for YouTube Recommendations這是一篇很接地氣的文章，以youtube為例，介紹了深度學習在推薦系統中的應用。
此外從應用的角度，有一些綜述的論文值得一讀：
現在召回主要在graph embedding的方向在做一些探索，這裡也推薦一些經典的圖神經網絡相關論文：
排序模型方面的文章相對更多一些，這裡也推薦幾篇相對經典的文章：
作者|松嶺、豆苗、萌胖
編輯|橙子君
出品|阿裡巴巴新零售淘系技術