以下為司羅在 WAIC 2021 AI 開發者論壇上的演講内容，機器之心進行了不改變原意的編輯、整理：
自然語言智能的定義及發展趨勢
首先什麼是自然語言智能呢？
自然語言智能是研究人與計算機如何用語言進行有效通信，它融合了語言學、心理學、計算機科學、數學、統計學等多個學科，涉及到自然語言和形式化語言的分析、抽取、了解、轉換和生成等多個課題。
作為最近幾年非常火爆的課題，人工智能可以分為不同層次。
首先是計算智能，即計算機利用它本身帶來的海量存儲并通過快速計算達到人類不能從事的一些計算能力。其實，我們所熟知的 AlphaGo 就是使用強化學習（RL），利用大量的快速計算，在圍棋這種搜尋和決策空間中找到更好的優化步驟，進而超過人類最好的棋手。我認為這還是屬于人工智能比較基礎的層面，即計算智能層面。
計算智能之上有感覺智能。感覺智能是計算機通過算法，在廣闊的網際網路和自然世界中找出重要的實體。比如語言智能找到一個新聞稿中重要的事件、人物、組織、地點等相關資訊，又比如計算機視覺在不同場景中找到人臉的歸屬以及不同的重要的 Objects。我認為這些屬于感覺智能層面。
在感覺智能之上有認知智能，即我們能夠更好地将實體進行有意義的連接配接，甚至做相關的推理。比如我們能不能通過自然語言方法在海量網際網路中找到同一事件的發生、發展、經過、結果、高潮等相關事情？我們能不能通過計算機視覺在不同場景下，把相同的人和團體所涉及同一事件的行為更好地連接配接起來，甚至進行一些相關的推理和演繹。我認為這些屬于認知智能層面。
在認知智能之上還有創造智能，就是計算機真正開始從事一些人類所獨有的創造能力，甚至超越人類。比如計算機能不能寫出邏輯自洽、優美的長篇小說？計算機能不能從事數學、實體等相關研究？我認為如果計算機能做到這一點，就達到了創造智能層面。
大家可以看到，感覺智能、認知智能和創造智能的背後涉及大量的語言資訊了解。我認為自然語言處理是完成這些工作的重要研究方向，也是實作強人工智能以及更加完整的人工智能的必要條件。最近一兩年，人工智能在自然語言智能方面有着非常廣泛和突破性的發展。在這裡我要給出自己的一些觀察。
- 首先，深度語言模型突破式發展引領很多重要的自然語言技術取得進展，并在應用場景落地；
- 其次，公有雲自然語言技術越來越從通用能力走向定制化服務；
- 最後，自然語言智能要在工業界産生巨大價值，一定需要結合更多的場景和行業。這方面也有了很多長足的進步。
阿裡巴巴如何搭建自己的 NLP 技術體系？
阿裡巴巴非常重視技術發展，阿裡巴巴達摩院成立了語言技術實驗室，在最近幾年打造了相應的語言智能技術，參加很多技術評測并取得了國際國内幾十項評測第一的好成績。比如 2017 年美國标準計量局資訊抽取英文實體分類比賽第一名、2018 年計算機算法史上首次在著名 SQuAD 機器閱讀了解評比中超越人類結果、2018 年在最重要的機器翻譯評測中取得 5 個語向的自動評測第一、以及 2021 年 6 月在多模态權威榜單 VQA Challenge 視覺問答挑戰賽中奪得第一名，相較去年第一名的結果有 3.4% 的大幅度提升，也逼近了人類結果。
我們參加這些技術評測旨在檢驗自身能力，把這些能力更好地沉澱在平台上，進而更好地賦能阿裡内部以及外部合作夥伴。
三大技術平台
我們把這些技術沉澱在不同的平台上，下圖展示的是阿裡巴巴自然語言技術平台，即阿裡 NLP 平台。我們在平台最底層建立了大量與自然語言相關的知識體系，包括語言字典、實體庫以及一些領域的知識圖譜。在這之上建構了阿裡巴巴大規模預訓練模型體系 AliceMind。我們通過 AliceMind 支撐了不同的自然語言基礎能力，從詞法（如分詞）分析到句法分析以及語義分析和文本分析等，這些基礎能力組合形成 NLP 相應的垂直技術，比如内容的搜尋、推薦、對話智能、情感分析等相關的能力，進而支援各種場景的應用，比如客服、推薦、搜尋、廣告等相應的服務。
該平台在阿裡内部的應用中起到了非常重要的作用，每天約有兩千個不同場景的調用，達到海量的調用次數，極大地支撐了阿裡巴巴内部相關的業務向前發展。
第二個技術平台是翻譯技術平台。阿裡巴巴的使命是「讓天下沒有難做的生意」，翻譯和多語言技術是阿裡巴巴國際化戰略的技術生命線。我們研發了相應的翻譯技術平台，首先需要建構底層的語言資料，包括通用語料、電商領域特性語料等。在各種各樣多語言 NLP 基礎能力的支援下，我們研發了相應的機器翻譯技術，包括目前通用的神經網絡機器翻譯和傳統的統計翻譯技術。同時在重要的技術點上，我們有自己的特色，有着引領業界的相應算法，比如機器翻譯的幹預機制，即在機器翻譯中對某些非常重要的實體取得精準的翻譯結果。
舉例而言，在電商翻譯場景下，我們需要對品牌、産品型号、屬性等重要實體取得非常好的翻譯效果，相應地就需要将這種翻譯機制和資料驅動的機器翻譯模型結合起來。為此，我們做了大量的工作，取得了一些領先的技術成果，并把相應技術成果與業界分享。我們也在多模态翻譯領域、人機協同等方面投入很多精力，賦能合作者，比如幫助語言服務提供商（LSP）、翻譯從業人員更好地提升業界翻譯效率，取得更大的商業價值。
在這之上我們有完整的解決方案，比如在電商領域，從最開始的 SEO 到使用者進入網站 APP 之後的跨語言搜尋、商品資訊的搜尋、客服、支付等，這些都需要各種各樣的翻譯和多語言解決能力。對此，我們提供了相對比較完整的翻譯和多語言解決能力，廣泛應用于各種各樣的業務場景。
上面介紹的是兩個主要從内部發展起來的自然語言相關平台。當我們越來越多地把技術向外開放，并通過阿裡雲賦能阿裡合作夥伴時，發現在更廣闊的場景下，除了通用能力的需求之外，不同使用者往往還有個性化的需求。
根據相應的場景，我們建構了 NLP 自學習平台。該平台能夠幫助我們的合作夥伴制定定制化服務，也就是合作夥伴既可以使用我們的通用模型，也可以使用自己的模型，通過我們提供的智能資料标注方式，更好地産生有标記的相應資料。通過模型訓練和線上部署服務，使用者可以更好實作與某個具體任務更加比對的自學習能力，取得更好的任務效果；同時也可以通過資料回流逐漸地疊代，進而逐漸提升整體任務的效果。
大規模預訓練語言模型體系 AliceMind
剛剛介紹了幾個在阿裡内外被廣泛使用的平台技術，它們的背後是大規模預訓練語言模型體系 AliceMind。AliceMind 不隻對标 BERT 或者 BERT 相關能力，而是提供了一套比較完整的能力體系。
首先 StructBERT 是 AliceMind 體系的一個重要基礎，它比 BERT 具有更強的句子結構和語義了解能力，能更深入了解詞和句子本身結構的含義。在這之上，我們建構了多語言語言模型 VECO，能夠把不同語言的語義表示映射到同一空間，進而進行後面的生成轉化等任務，也多次在國際權威榜單上登頂。我們的生成式語言模型 PALM，既考慮了比較廣泛的自然語言了解任務，也考慮了非常多的生成任務，後者在很多場景中被廣泛使用。PALM 在标準 MS MARCO 生成榜單中多次取得第一名的成績，同時也大規模應用于阿裡内外業務。
此外，今年 4 月釋出的超大規模中文預訓練語言模型 PLUG。多模态也是目前業界發展的一個重要方向，我們的 StructVBERT 模型在 VQA Challenge 2021 競賽中取得了好的結果。我們在結構化方面也做了非常多的工作，因為文本、文檔不是簡單的文字堆砌，往往涵蓋表格資訊以及大量的結構化資訊，隻有把這些結構化資訊充分利用起來，才能取得更好的效果。是以，我們的結構化模型 StructuralLM 有助于與 OCR 等相應的能力結合，在一些重要的評測和任務上取得了非常好的結果。最後，我們還有與閱讀了解、搜尋、知識融合等方面結合的模型，總體構成了 AliceMind 大規模預訓練模型體系。
相關技術解讀
接下來簡單介紹 AliceMind 體系中的幾項重要的技術。
首先語言模型是描述自然語言的表示、順序、結構、意義和生成的過程。目前有兩種比較通用的方式來建構語言模型，一種是傳統語言學方法，即通過規則的方法以及語言學文法來描述語言生成的方式。但是在最近十幾年，通過大量資料積累和計算能力擴充，資料驅動方法，即統計學 / 深度學習方法成為主流，其中非常典型的代表是谷歌的 BERT，它分為兩個不同的階段，其中在預訓練階段，通過通用知識和通用資料學習建構基礎模型，之後在精調階段根據下遊任務對通用模型進一步調整，進而在相應的任務中取得好結果。
我們在 BERT 相關方向上做了進一步拓展和延伸，預訓練語言模型 StructBERT 能更好地了解詞法和句法結構，深入地了解一個詞的意義和句子順序資訊，進而更好地建立相應的語言模型，取得更好的語義表達。
我們的預訓練語言模型 PLUG 集語言了解與生成能力于一身，同時由于模型本身的設計考慮到了不同方式的任務，是以它的定制化能力強，可以比較針對性地做出相應的能力優化。此外模型本身有很強的長文本了解和上下文了解能力，也能夠生成連貫流暢、适用性廣泛的長文本，是以在重要的 Benchmark 以及詩歌創作、菜單生成、小說續寫等重要領域取得了比較好的結果。
還有多模态語言模型 StructVBERT，在今年的 VQA Challenge 競賽中，AliceMind 團隊取得了第一名的成績，比往年最優成績有了大幅度提高，同時也逼近了人類的結果。相應的多模态能力在很多場景有着廣泛的應用，比如電商客服場景，很多使用者針對某一個商品進行提問，但這些商品問題的答案往往是在商品的詳情頁中，看圖問答能夠為這些使用者提供所要的答案。在此場景中，我們每天提供百萬級調用量的看圖問答能力。同時，積累下來的圖像和語義表示能力很有價值，比如可以為鹹魚賣家提供相應的商品挂号服務，也就是鹹魚賣家上傳二手商品，我們會自動幫助他們尋找淘寶内部一手商品的資料，實作更好的連接配接。
最後簡單介紹一下結構化預訓練語言模型，因為文檔本身有豐富的結構化資訊，比如 Excel、OCR 等文字識别之後有大量表格資訊的文檔，我們的語言模型需要把結構化資訊、位置資訊以及整個篇章的資訊與語言資訊結合起來，取得更好的效果。我們的模型在相應的評測中取得了非常好的結果，并在海關場景有着廣泛的落地，比如把海關報關草單中的重要資訊抽取出來，實作海關報關單的自動生成，大量節省了行業人力，提升了整體運轉效率。目前我們的模型已經在行業中有了非常廣泛的應用。
廣泛的應用場景
上面介紹了技術方面的工作，接下來簡單介紹幾個應用場景。我個人認為，如果自然語言智能的算法想要真正地發揮大的價值，則一定要在場景、資料知識模型以及算法之間形成一個良性疊代和更新的過程。我們通過豐富的場景，廣泛的知識和模型，在此基礎上建構算法，算法又在場景中取得更好的效果，進而不斷疊代更新取得更大的價值。
我簡單介紹幾個我們在不同場景和不同行業所做的工作。
首先是對話智能，它是客服場景和營銷場景中非常重要的基礎技術能力。在技術上，我們建構了包括不同行業的知識圖譜，通過 AliceMind 深度語言模型體系擴充出了支撐各種不同資料類型的問答能力和對話能力，比如基于非結構化知識問答的機器閱讀能力（MRC）、基于半結構化知識問答的常見問題解答能力（FAQ）、基于結構化問題回答的表格問答、知識圖譜問答等相關能力，在政務行業、電商行業、服務熱線等有着非常廣泛的應用。此外，在去年疫情期間，我們獲得了人民日報主辦的「人工戰疫」科技大賽第一名。
其次，法律和企業知識圖譜的建構。在非常多的領域内部，背後的知識圖譜起着至關重要的作用。比如在法律行業，我們設計了四大不同的引擎，即法律對話解析引擎、法律文書解構引擎、邏輯解析引擎和法律法規解析引擎，它們支撐了大量不同的場景，比如裁判文書的輔助生成、文書的檢索以及類案推薦等。我們在業界首創的智能輔助審判全流程方案能夠幫助一些重要的案由當庭宣判率達到 90% 以上，目前正在浙江全省推廣。
在企業服務場景中，知識圖譜同樣重要。我們在智能合同和招投标方面投入大量精力，能基于大規模語言模型的能力對文檔文書進行更好的結構化分析，找到相應的知識點，在知識點之間進行連接配接，産生更大的技術價值。我們已經就這些能力與一些企業展開廣泛的合作。
接下來介紹的是 OCR 識别能力。前面介紹了表格預訓練語言模型和非結構化預訓練模型，OCR 與它們有着非常深入的連接配接。通過在目标檢測算法、字元識别算法、結構邏輯了解、分類算法方面的技術沉澱，我們支撐了辦公領域、教育領域以及精準領域大量的行業應用，同時也提供了自學習能力，幫助不同的合作夥伴定制所需要的文字識别能力。該技術在企業服務、海關場景和教育行業都有着非常廣闊的應用。
最後與大家分享阿裡達摩院語言技術實驗室的使命，即建構阿裡巴巴自然語言技術體系，支撐阿裡經濟體語言技術和應用。我們的技術是開放的，希望更廣泛地賦能合作者，發展普惠自然語言技術，同時希望與學界業界的朋友共同創新自然語言技術，探索未來的語言智能。