語言了解對計算機來說是一個巨大的挑戰。幼兒可以了解的微妙的細微差别仍然會使最強大的機器混淆。盡管深度學習等技術可以檢測和複制複雜的語言模式，但機器學習模型仍然缺乏對我們的語言真正含義的基本概念性了解。
但在2018年确實産生了許多具有裡程碑意義的研究突破，這些突破推動了自然語言處理、了解和生成領域的發展。
我們總結了14篇研究論文，涵蓋了自然語言處理（NLP）的若幹進展，包括高性能的遷移學習技術，更複雜的語言模型以及更新的内容了解方法。NLP，NLU和NLG中有數百篇論文，由于NLP對應用和企業AI的重要性和普遍性，是以我們從數百篇論文中尋找對NLP影響最大的論文。
2018 年最重要的自然 語 言 處 理（ NLP ）研究 論 文 1. BERT ： 對語言了解的深度雙向變換器的預訓練 ，作者： JACOB DEVLIN ， MING-WEI CHANG KENTON LEE 和 KRISTINA TOUTANOVA 論文摘要：我們引入了一種名為BERT的新語言表示模型，它是Transformer的雙向編碼器表示。與最近的語言表示模型不同，BERT旨在通過聯合調節所有層中的左右上下文來預訓練深度雙向表示。是以，預訓練的BERT表示可以通過一個額外的輸出層進行微調，以建立适用于廣泛任務的最先進模型，例如問答和語言推理，而無需實質性的具體的架構修改。
BERT在概念上簡單且經驗豐富，它獲得了11項自然語言處理任務的最新成果，包括将GLUE基準推至80.4％（提升了7.6％）、MultiNLI準确度達到86.7%（提升了5.6％）、SQuAD
v1.1問題回答測試F1到93.2%（提升了1.5％）。
總結谷歌AI團隊提出了自然語言處理（NLP）的新前沿模型-
，它的設計允許模型從每個詞的左側和右側考慮上下文。BERT在11個NLP任務上獲得了新的最先進的結果，包括問題回答，命名實體識别和與一般語言了解相關的其他任務。
·通過随機屏蔽一定比例的輸入token來訓練深度雙向模型-進而避免單
詞間接“看到自己”的周期。
·通過建構簡單的二進制分類任務來預訓練句子關系模型，以預測句子B是否緊跟在句子A之後，進而允許BERT更好地了解句子之間的關系。
·訓練一個非常大的模型（24個Transformer塊，1024個隐藏層，340M參數）和大量資料（33億字語料庫）。
什麼是關 鍵 成就？·重新整理了11項NLP任務的記錄，包括：
·獲得80.4％的GLUE分數，這比之前最佳成績提高了7.6％;
·在SQuAD 1.1上達到93.2％的準确率。
·預訓練的模型不需要任何實質的體系結構修改來應用于特定的NLP任務。
AI 社群對其看法？·BERT模型标志着
NLP的新時代；
·
兩個無人監督的任務在一起為許多NLP任務提供了很好的性能；
預訓練語言模型成為一種新标準；
未來的研究 領 域是什麼？·在更廣泛的任務上測試該方法。
·收集BERT可能捕獲或未捕獲的語言現象。
最可能的商 業應 用是什麼？BERT可以幫助企業解決各種NLP問題，包括：
- 提供更好的聊天機器人客服體驗;
- 客戶評論分析;
- 搜尋相關資訊；
·Google Research釋出了一個
官方Github存儲庫，其中包含Tensorflow代碼和BERT預訓練模型。
BIT的PyTorch實作也可以在GitHub上獲得。
2. 人類注意力的序列分類 ，作者：MARIA BARRETT，JOACHIM BINGEL，NORA HOLLENSTEIN，MAREK REI，ANDERSSØGAARD 論文摘要學習注意力函數需要非常大規模的資料，不過有很多自然語言處理任務都是對人類行為的模拟，在這篇論文中作者們就表明人類的注意力确實可以為 NLP 中的許多注意力函數提供一個不錯的歸納偏倚。具體來說，作者們根據人類閱讀語料時的眼睛動作追蹤資料估計出了「人類注意力」，然後用它對 RNN 網絡中的注意力函數進行正則化。作者們的實驗表明，人類注意力在大量不同的任務中都帶來了顯著的表現提升，包括情感分析、文法錯誤檢測以及暴力語言檢測。
Maria Barrett和她的同僚建議使用從眼動（eye-tracking）追蹤語料庫中擷取的人類注意力來規範循環神經網絡（RNN）中的注意力。通過利用公開可用的眼動追蹤語料庫，即通過眼睛跟蹤測量（例如注視持續時間）增強的文本，它們能夠在NLP任務中顯着提高RNN的準确性，包括情緒分析、濫用語言檢測和文法錯誤檢測。
·
使用人的注意力，從眼動追蹤語料庫中估計，以規範機器注意力。
模型的輸入是一組标記序列和一組序列，其中每個标記與标量值相關聯，該标量值表示人類讀者平均專注于該标記的注意力。
RNN聯合學習循環參數和注意力功能，但可以在來自标記序列的監督信号和眼睛跟蹤語料庫中的注意力軌迹之間交替。
建議的方法不要求目标任務資料帶有眼睛跟蹤資訊。
什麼是關鍵成就？在注意力序列分類任務中引入循環神經結構。
證明使用人眼注意力（從眼動追蹤語料庫中估計）來規範注意力功能可以在一系列NLP任務中實作顯著改善，包括：
§
情緒分析，
檢測語言檢測，
文法錯誤檢測。
性能比基線平均誤差減少4.5％。這些改進主要是由于召回率（recall）增加。
該論文獲得了關于計算自然語言學習頂級會議的CoNLL 2018人類語言學習和處理啟發的最佳研究論文特别獎。
未來的研究領域是什麼？在學習人類相關任務時，探索利用人類注意力作為機器注意力的歸納偏見的其他可能性。
什麼是可能的商業應用？RNN結合人類注意力信号，可應用于商業環境：
你在哪裡可以得到實作代碼？加強客戶評論的自動分析;
過濾掉濫用的評論，回複。
本研究論文的代碼可在
GitHub上獲得3. 基于短語和神經元的無監督機器翻譯
，作者：GUILLAUME
LAMPLE，MYLE OTT，ALEXIS
CONNEAU，LUDOVIC DENOYER，MARC'AURELIO
RANZATO
機器翻譯系統在某些語言上實作了接近人類的性能，但其有效性強烈依賴于大量并行句子的可用性，這阻礙了它們适用于大多數語言。本文研究了如何在隻能通路每種語言的大型單語語料庫時學習翻譯。我們提出了兩種模型變體，一種神經模型，另一種基于短語的模型。兩個版本都利用參數的初始化、語言模型的去噪效果以及通過疊代反向翻譯自動生成并行資料。這些模型明顯優于文獻中的方法，同時更簡單且具有更少的超參數。在廣泛使用的WMT'14英語-法語和WMT'16德語-英語基準測試中，我們的模型不使用單個平行句的情況下分别獲得28.1和25.2 BLEU分數，超過現有技術水準11 BLEU分。在英語-烏爾都語和英語-羅馬尼亞語等低資源語言中，我們的方法比半監督和監督方法獲得的效果都要好，我們的NMT和PBSMT代碼是公開的。
AI研究人員承認了缺乏用于訓練機器翻譯系統的大型并行語料庫，并提出了一種更好的方法來利用單語資料進行機器翻譯（MT）。特别是，他們認為通過适當的翻譯模型初始化、語言模組化和疊代反向翻譯，可以成功地完成無監督的MT。研究人員提出了兩種模型變體，一種是神經模型，另一種是基于短語的模型，它們的性能都極大地超越了目前最先進的模型。
無監督的MT可以通過以下方式完成：
合适的翻譯模型初始化（即位元組對編碼）;
在源語言和目智語言中訓練語言模型，以提高翻譯模型的品質（例如，進行本地替換，單詞重新排序）;
用于自動生成并行資料的疊代反向轉換。
有兩種模型變體：神經和基于短語：
神經機器翻譯一個重要的屬性：跨語言共享内部表示。
基于短語的機器翻譯在低資源語言對上優于神經模型，且易于解釋和快速訓練。
基于神經和短語的機器翻譯模型顯著優于以前的無監督，例如：
對于英語-法語任務，基于短語的翻譯模型獲得的BLEU分數為28.1（比之前的最佳結果高出11 BLEU分）;
對于德語-英語任務，基于神經和短語的翻譯模型組合得到BLEU得分為25.2（高出基線10個BLEU點）。
無監督的基于短語的翻譯模型實作了超過使用10萬個并行句子訓練的監督模型對應的性能。
社群的對其想法？該論文在自然語言處理領域的領先會議被評為
EMNLP 2018評為最佳論文獎尋找更有效的原則執行個體或其他原則。
擴充到半監督模型。
改進其中沒有足夠的并行語料庫來訓練受監督的機器翻譯系統的機器翻譯結果。
Facebook團隊在
GitHub上提供了本研究論文的原始實作代碼。
未完待續......
可應用于實際的14個NLP突破性研究成果（二） 可應用于實際的14個NLP突破性研究成果（三） 可應用于實際的14個NLP突破性研究成果（四）本文由
阿裡雲雲栖社群組織翻譯。
文章原标題《
WE SUMMARIZED 14 NLP RESEARCH BREAKTHROUGHS YOU CAN APPLY TO YOUR
BUSINESS
》作者：
Mariya Yao譯者：虎說八道，審校：袁虎。
文章為簡譯，更為詳細的内容，請檢視
原文