曆時九天，我們收到了近千份有效讀者投票，2017 年度最值得讀的 AI 論文評選也正式結束。
我們根據讀者的投票情況，選出了自然語言處理和計算機視覺領域“2017 年最值得讀的十大論文”。讓我們一起來看看過去一整年，在 PaperWeekly 讀者心中排名前十的 NLP 論文都有哪些？還有給我們留言的讀者，在表達對這十篇論文的喜愛之情時都說了些什麼？
此外，小編也在所有留言中選出了自己最鐘意的五條，還在所有成功參與投票的讀者中随機抽取了 13 位，他們都将獲得 PaperWeekly 精心準備的新年禮物。
論文 | Attention Is All You Need
連結 | https://www.paperweekly.site/papers/224
源碼 | https://github.com/Kyubyong/transformer
大道至簡，Google Brain 在本文中提出了一個新型的簡化網絡架構—Transformer，完全基于注意力機制，完全避免了循環和卷積，完全可并行。
本文可以說是 Google 繼 Highway Network 等新型神經網絡之後，在神經網絡子產品化的又一嘗試。
擴充閱讀：
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247484985&idx=1&sn=f8cb392ffbeb26c954d7ee3059364be1&chksm=96e9d9b9a19e50af671441ac18b6ec9a3ec7a30722ff6f71120f8b2c3afd063c5c9f96c0998a&scene=21#wechat_redirect" target="_blank">Attention is All You Need | 每周一起讀</a>
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247486960&idx=1&sn=1b4b9d7ec7a9f40fa8a9df6b6f53bbfb&chksm=96e9d270a19e5b668875392da1d1aaa28ffd0af17d44f7ee81c2754c78cc35edf2e35be2c6a1&scene=21#wechat_redirect" target="_blank">一文讀懂「Attention is All You Need」| 附代碼實作</a>
論文 | Reinforcement Learning for Relation Classification from Noisy Data
連結 | https://www.paperweekly.site/papers/1260
源碼 | 暫無
清華大學發表在 AAAI 2018 上的工作，本文将強化學習應用于關系抽取任務中，取得了不錯的效果。其主要貢獻是将遠端監督的信号轉化為強化學習中的延遲獎勵，從強化學習的視角提出解決問題的思路，并克服了聯合訓練 instance selector 和 relation classifier 兩個子產品的問題。
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247486440&idx=2&sn=d43b6799f62337ec19f405bed1cd0138&chksm=96e9d468a19e5d7ea1cd673045eaa57dd8f5bee49074b6ef0f4fc64558e4626a0461867b216b&scene=21#wechat_redirect" target="_blank">清華大學馮珺：基于強化學習的關系抽取和文本分類 | 實錄·PhD Talk</a>
論文 | Convolutional Sequence to Sequence Learning
連結 | https://www.paperweekly.site/papers/844
源碼 | https://github.com/facebookresearch/fairseq-py
本文提出了基于卷積神經網絡（CNN）的 seq2seq 架構，和基于循環神經網絡（RNN）的 seq2seq 相比，其更易于加速訓練，在 GPU 上達到 9.8 倍加速，平均每個 CPU 核上也達到 17 倍加速。此外，本文工作在 WMT’14 English-German 和 WMT’14 English-French 兩個資料集上，也取得相對更好的 BLUE Score。
ConvS2S 主要結構有：Position Embeddings（使編碼器或解碼器感覺到位置變化）、Convolutional Block Structure（編碼和解碼上下文中的資訊）、Multi-step Attention（每層解碼器使用各自的注意力機制）和 Residual connections（使架構适應深度網絡）。
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247484664&idx=1&sn=642249c0072ad2de80a57e5312495408&chksm=96e9db78a19e526ec5413cf943df10d17b2ee5177f21cb5467d84d47443d27b89bc61e97f56f&scene=21#wechat_redirect" target="_blank">論文解讀：Convolutional Sequence to Sequence Learning</a>
論文 | Zero-Shot Relation Extraction via Reading Comprehension
連結 | https://www.paperweekly.site/papers/289
源碼 | https://bitbucket.org/omerlevy/bidaf_no_answer
本文提出了基于閱讀了解的關系抽取方法，并且成功抽取未标注的新關系。本文的精華之處在于對閱讀了解問題的轉化和資料集的生成。
填空式（slot-filling）關系抽取是在給定的關系 R、實體 e 和句子 s，在 s 中找到集合 A，使得其中的元素 a 滿足 R(e, a)。在閱讀了解中，問題 q 可表示為 R(e, ?)，回答問題等同于填空式關系抽取在 s 中找到答案，問題轉化成：把 R(e,?) 翻譯成問題 q，借助閱讀了解抽取實體關系。
本文提出基于關系而非實體遠端監督關系的衆包标注方法，在可控的開銷内，為此類問題建構一個非常大的資料集。
論文 | IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models
連結 | https://www.paperweekly.site/papers/200
源碼 | https://github.com/geek-ai/irgan
本文是生成對抗網絡（GAN）在資訊檢索（IR）中的應用。資訊檢索中的兩種常見模式：預測給出的文檔相關性；給出文檔對，判别他們之間的相關性。
本文轉換問題角度，得到基于對抗網絡的資訊檢索模型（IRGAN），主要由判别模型（挖掘标注與非标注的資料中的資訊，用于引導生成模型拟合給定查詢的結果在文檔中的分布情況）和生成模型（根據查詢生成高相關性的結果）組成。
本文從三個角度使用 GAN 對資訊檢索模組化，即：pointwise（學習人類對文檔的相關性判斷），pairwise（找出最具有相關性的文檔對），listwise（相關性排序）。
本文的模型架構可以應用于：網頁搜尋線上排序（sf: LambdaRank, LambdaMART, RankNet）、item 推薦系統（cf matrix factorisation）、問答系統（退化成 IR 的評估）。
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247485187&idx=1&sn=11cf0af5f94f3558850c33c0186619e1&chksm=96e9d883a19e5195a5b3a7f0edd4513a9d8d36bee15cce9367770a9517cdf3c97254a40cd2b5&scene=21#wechat_redirect" target="_blank">SeqGAN & IRGAN | 實錄·Guru Talk #12</a>
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247484945&idx=1&sn=f3ef7c4b5ca72e3ec894111d172ffe1e&chksm=96e9d991a19e50879be644a8cf81d4092ed15773b36d6672fe7f43822c68a2b71458219e2a8f&scene=21#wechat_redirect" target="_blank">SIGIR2017 滿分論文：IRGAN | 每周一起讀</a>
論文 | Neural Relation Extraction with Selective Attention over Instances
連結 | https://www.paperweekly.site/papers/175
源碼 | https://github.com/thunlp/TensorFlow-NRE
本文提出使用卷積神經網絡得到句子分布式表示，并結合句子級注意力機制動态減弱噪聲幹擾的遠端監督關系抽取模型。
本文在得到句子分布式表示 x，巧妙地引入關系的向量表示 r，并使用 r 與 x 結合得到關系在每個句子上的注意力表示，最後經過 softmax 網絡得到每種關系在句子集預測值，進而動态的去除了噪聲對遠端監督關系抽取的影響。
與現有神經網絡模型相比，本文模型不僅可以綜合利用所有文本資料，而且可以降低錯誤标注資料的影響，抽取準确率取得顯著提高。
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247484790&idx=2&sn=8fd971fad080bf3639cd659f2893308a&chksm=96e9daf6a19e53e0435230cf761eb9cbfafc645b973201980e086d5f23e9bb1dda62b66b1e84&scene=21#wechat_redirect" target="_blank">Knowledge Representation and Acquisition | 實錄·PhD Talk #08</a>
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247485405&idx=1&sn=bf1e342d16b10e263cf24358cd2d7da0&chksm=96e9d85da19e514bbe28ced8b8d72ac03c18177791416799bd3c65b6a74f41761075fd41289b&scene=21#wechat_redirect" target="_blank">關于遠端監督，我們來推薦幾篇值得讀的論文</a>
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247484307&idx=1&sn=67d44ea6ae70ff4c2f31bedb68067890&chksm=96e9dc13a19e5505057b035e7444be3665cfadc173e85c501b3529985f6b7548c5e08c843238&scene=21#wechat_redirect" target="_blank">遠端監督在關系抽取中的應用</a>
論文 | Unsupervised Neural Machine Translation
連結 | https://www.paperweekly.site/papers/1036
神經機器翻譯在近幾年取得了巨大進步，日漸趨于成熟，但其仍然嚴重依賴于稀缺的平行标注語料。當源語言或目智語言是小衆語種時，此問題更加突出。
本文作者認為無監督神經機器翻譯是大勢所趨，完全舍棄了平行資料，提出了用完全無監督的方式訓練神經機器翻譯系統的新方法，該方法隻需使用單語語料庫。在統一的向量空間上進行“意譯”，使用 denosing 和 backtranslation 來強化這一目标。
該系統在 WMT 2014 法語 - 英語和德語 - 英語翻譯中分别取得了 15.56 和 10.21 的 BLEU 得分。
論文 | Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme
連結 | https://www.paperweekly.site/papers/477
源碼 | https://github.com/zsctju/triplets-extraction
實體和關系的聯合抽取問題作為資訊抽取的關鍵任務，其實作方法可以簡單分為兩類：一類是串聯抽取方法，另一類是聯合抽取方法。
串聯抽取方法将該問題分解為兩個串聯的子任務，即先采用實體識别模型抽取實體，再采用關系抽取模型得到實體對之間的關系，其優勢是便于單獨優化實體識别任務和關系抽取任務，但缺點是它們以擷取三元組的中間産物（實體或者關系類型）為目标，而實體識别的結果會進一步影響關系抽取的結果，導緻誤差累積。
不同于串聯抽取方法，聯合抽取方法使用一個模型同時抽取實體及其關系，能夠更好的整合實體及其關系之間的資訊。但現有的聯合抽取方法也存在諸多問題。
本文提出了一個新的聯合抽取的模型架構來解決此類問題，并在公開資料集 NYT 上取得了很好的效果。
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247485006&idx=1&sn=84642d969cfb91c8464aadb0bb354d91&chksm=96e9d9cea19e50d844f9325c341b00a76c579ef73d8352f615050b8ebe00dacf48dc4bfae44d&scene=21#wechat_redirect" target="_blank">基于新标注模式的實體和關系聯合抽取方法 | 每周一起讀</a>
<a href="https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247484839&idx=1&sn=e2604c9104432d8719c57cf5bb44f1ca&chksm=96e9da27a19e5331be6c9f7e277e04586f8584b3369d6085552f23a9b06237c873be47e24312&scene=21#wechat_redirect" target="_blank">基于新标注模式的實體和關系聯合抽取方法 | 論文訪談間 #07</a>
<a href="http://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247486580&idx=1&sn=d4ceaab9f2d7f4d1cdf3b69ed43c5835&chksm=96e9d3f4a19e5ae27f38c01f93e2e84e54565fb1c3a982370a7f326d0f7b486acc0377517dd5&scene=21#wechat_redirect" target="_blank">基于神經網絡的實體識别和關系抽取聯合學習 | PaperWeekly #54</a>
論文 | A Structured Self-attentive Sentence Embedding
連結 | https://www.paperweekly.site/papers/1081
源碼 | https://github.com/ExplorerFreda/Structured-Self-Attentive-Sentence-Embedding
本文發表于 ICLR 2017，作者提出一個新的自注意力模型，能提取句子中的重要部分進行 embedding，是一篇可以直接看公式了解作者思路的論文。
本文最大的亮點在于提出了自注意力機制，無需外部資訊即可對自身進行 attention。此外，本文還提出用二維矩陣表示句子，矩陣的不同行表示句子不同層面的資訊，使句子表達資訊更豐富，解決了句子被壓縮成一維向量時的資訊損失問題。
論文 | Dialogue Learning With Human-In-The-Loop
連結 | https://www.paperweekly.site/papers/1436
源碼 | https://github.com/facebook/MemNN/tree/master/HITL
一般的對話機器人訓練着重于在固定資料集上訓練，本文使用強化學習基于線上回報訓練對話模型，在合成語境中對模型各方面性能進行測試，使用 Mechanical Turk 驗證模型在真實環境中的表現，成功證明了使用固定資料集初始化模型後通線上學習改進模型的可行性。
在模型中，政策（Policy）使用 MemN2N（End-to-End Memory Network）實作，對話曆史對應模型狀态（State），問題的答案對應模型的動作空間（Action），回答的正誤對應回報（Reward），模型使用 batch size 控制模型參數更新頻率以适用不同的學習模式。試驗了 RBI (Reward-based Imitation)，Reinforce，FP (Forward Prediction) 等學習方法在模型中的表現。
原文釋出時間為：2018-01-30
本文作者：讓你更懂AI的