Jurassic-X：讓神經模型學會符号推理

解讀 | Antonio

編輯丨陳彩娴

近期，一家以色列NLP研究機構AI21 Labs開發了一個名叫Jurassic-X的算法系統，它基于該實驗室提出來的MRKL（它與miracle諧音）系統。Jurassic-X的前身是對标GPT-3的Jurassic-1，然而卻克服了它們不擅于推理、更新昂貴、不能有效處理時序資料等缺點。

論文位址：https://arxiv.org/pdf/2204.10019.pdf

1

MRKL系統

MRKL的全稱是子產品化推理、知識和語言系統（Modular Reasoning, Knowledge and Language），它試圖将現有的神經網絡模型，如大規模語言模型LLM，和外部知識庫，以及過去流行的符号專家系統結合在一起，進而來兼顧神經模型和符号推理能力。

這一系統是針對現有的大規模語言模型的諸多缺點進行的改進。在GPT-3以及Jurassic-1等大規模語言模型進行預訓練，之後應用在多個下遊任務，常常有兩種極端的方式：

（1）多個任務直接通過零樣本學習的方式進行。這種方式無需更新任何參數，進而保證了多功能性（versatility）；

（2）在每個任務上都對于大規模語言模型進行微調。這種方式不僅需要大量的資源，具有很差的遷移性，還會經常導緻在一個任務微調完之後，其餘任務表現得很差——災難性遺忘（catastrophic forgetting）的困境。

基于MRKL系統的Jurassic-X則主要借鑒了類似于prompt learning的方式，來當機大部分模型原有的參數，僅更新一部分任務相關的參數來避免上述問題。之後會對這塊的方法有一個初步的介紹。

同時，僅僅依賴神經語言模型，也會有很多本質上的問題：它們對于外部知識無法高效利用，尤其對于一些時序更新的資料，例如新冠疫情最新的資料以及貨币匯率等資訊，它們的推理能力很弱，例如最簡單的算術題（自然語言給出的）有時候都會犯錯。

舉例來說：

問題：在最近的一個月裡，哪一家清潔能源公司有最大的份額增長？

這是一個組合的“多專家”問題：首先模型會從例如百科庫WIKI接口中擷取有哪些清潔能源公司，之後它會從月曆中擷取上個月指的是什麼時候，以及從資料庫中擷取相應的份額增長；之後在彙總了上述資訊後，它可以通過一個電腦去計算“最大的增長”，最後通過語言模型來給出答案。

要完成這些目标需要訓練離散的專家系統，将他們的接口和神經網絡之間進行平滑，并在不同的子產品之間去選擇等等。一些技術細節可以參考介紹MRKL的文章，之後會針對其中在下遊任務上的訓練方式做一個簡要的介紹，更詳細的技術細節可以參考論文。

财富雜志從商業角度分析了MRKL以及Jurassic-X反映了當代AI的四個趨勢：通用性、基于LLM、混合系統、減少權重訓練。

2

通用性和基于LLM

MRKL緻力于僅使用單一模型解決各種各樣的自然語言任務，而并不是像現階段很多模型隻能解決特定的單一任務，這是朝着通用人工智能的必經之路。例如，一個流暢的機器人對話系統不僅僅能順暢地完成對話，還可以同時對某些話語進行情感分析。事實上，GPT-3等大規模模型已經顯示出它的在多個任務上零樣本學習的巨大潛力了，而大規模語言模型預訓練，多個任務共享該模型進行微調早已成為研究界熟悉的訓練範式了，商業上緊跟其後，也是預料之中。

對标GPT-3的LLM：Jurassic-1

3

混合系統

盡管基于神經模型的方式獲得了令人印象深刻的性能，不過GPT-3在涉及到一些哪怕是很簡單的推理時也會犯一些低級錯誤，尤其涉及到比較複雜的語言描述，例如多個數相加；涉及到最新的消息，例如紐約現在的天氣。它僅僅從過去訓練好的資料中進行推斷天氣情況，難以遷移到新的場景下，而如果用更新的資料，則需要重新訓練模型，而這需要巨大的代價。

不同專家系統之間的連接配接

是以MRKL使用了代表當代AI在商業角度下的第三個趨勢——使用神經和符号結合的混合系統。MRKL融合了不同的子產品，有些子產品使用了深度學習，有些則使用符号推理模式的專家系統，例如直接從某些資料知識庫中進行檢索等子產品，來擷取更新的資訊。

MRKL中一個出色的設計被稱作是路由（router）的子產品，它可以根據使用者的問題比對一個專家系統：例如如果問題涉及到數學，它會轉向一個電腦，如果問題涉及到匯率，它會路由到一個匯率轉換器，如果是天氣的話，它會轉到一個天氣網站等等；如果路由對于問題不确定，它會先通過Jurassic-1等語言模型利用上下文推斷出應該轉向哪個專家子產品。

4

權重更新方式

MRKL還采用了prompt tuning的方式對于模型的下遊任務進行更新，如上述，這種方式避免了災難性遺忘的微調模式以及零樣本學習的低性能。與傳統的prompt tuning方式相比，Jurassic-X使用了更加精細的設計:（1）依賴于模型輸入的prompt學習方式。（2）檢索增強的prompt生成方式。（3）遞歸式地應用當機了的LM模型。論文中做了更加詳細的技術介紹，感興趣的讀者可以直接閱讀論文。

MRKL中采用遞歸方式涉及prompt learning

5

應用執行個體

部落格中介紹了幾種MRKL的應用場景舉例，都是一些值得關注和實用的一些話題，涉及到方方面面可能出現在日常場景中的問題。

用人類語言去閱讀和更新資料庫

問題：買玫瑰味的洗髮乳

Jurassic-X會從人類語言中提取中關鍵資訊，并從商店清單中去檢索産品，加入到購物車的資料庫中。這在智能助理，電子商務等都有應用前景。

對于當下問題的文本生成

問題：誰是當下的美國總統

Jurassic-X會融合當下及時更新的外部資料庫，例如維基百科去産生更及時的資料。

數學操作

問題：公司的655400份份額被94個員工平均配置設定，每個員工得到多少？

Jurassic-X會通過語言模型提出去關鍵資訊，并且應該去尋找一個“數學專家”，也就是電腦，進而得出正确結果。

組合型問題

問題：更多的人住在Tel Aviv還是Berlin？

Jurassic會将組合型問題分解為若幹子問題：Tel Aviv的人口是多少？Berlin人口是多少？哪個數字更大？等，解決了每個子問題後再把它們彙總在一起。更重要的是，這樣也增加了可解釋性，說明了模型給出答案的依據。

天氣、匯率等動态資訊

問題：100美元可以換多少摩洛哥币？

Jurassic會把語言模型和一些及時更新的知識庫融合在一起，進而容易擷取到實踐性敏感的動态資訊。

透明性和可信性

問題：克林頓是否曾經當選過美國總統

這裡涉及到Clinton的歧義問題，問題的答案取決于哪個Clinton，是Bill Clinton還是他的妻子。Jurassic-X可以做出更加明确、透明的回答，而其他神經模型則不行。

6

AI21 Labs

AI21實驗室位于以色列的一家自然語言處理的研究機構；它同時也是一個商業機構，旨在将現有的NLP技術快速部署到商業應用中。創始人包括從斯坦福大學退休了的人工智能教授Yoav Shoham；一家自動駕駛公司Mobileye的創始人Amnon Shashua，以及衆包平台CrowdX創始人Ori Goshen。這家公司的口号是“重構人們的讀寫方式，朝向更美好的未來”（reimaging the way people read and write, for the better）。

參考連結

https://fortune.com/2022/04/19/ai21-labs-mrkl-ultra-large-language-models-jurassic/

https://storage.cloud.google.com/ai21-public-data/publications/MRKL_paper.pdf

https://arxiv.org/pdf/2204.10019.pdf

雷峰網雷峰網