雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
神譯局是36氪旗下編譯團隊，關注科技、商業、職場、生活等領域，重點介紹國外的新技術、新觀點、新風向。
編者按：衆所周知，人工智能有兩大流派。一是符号主義，另一個是聯結主義。符号主義擅長邏輯演繹；聯結主義擅長歸納總結，典型代表是機器學習。通常來說，演繹推理這種事情不是聯結主義的菜。不過最近Facebook的一個AI小組卻在這件事情上取得進展：讓神經網絡用語言翻譯的原理去解微積分方程。這算是新突破嗎？Stephen Ornes介紹了他們的成果，原文發表在quantamagazine.org上，标題是：Symbolic Mathematics Finally Yields to Neural Networks
劃重點
大家把神經網絡看作是AI的靈丹妙藥，能夠解決可以重述為模式識别問題的技術難題
困難的符号數學問題一直是神經網絡的弱點
Facebook人工智能研究小組工作的計算機科學家，公開了第一個成功用神經網絡解決符号數學問題的方案
他們将數學表達式轉換為樹狀結構，然後訓練網絡在符号當中找到有關解的線索
這種方法可以充當數學家的助手，通過識别已知猜想中的模式為一個之前存在的問題提供幫助
更加令人興奮的是，這種神經網絡有可能幫助揭開神經網絡本身黑匣子的秘密
通過将符号數學轉換為樹狀結構，神經網絡最終可以開始解決更多抽象問題。
插圖：機器人把微積分轉換成樹狀分支結構
70多年前，作為思考大腦工作機制的一種革命性的手段，處在人工智能研究前沿的研究人員引入了神經網絡。在人的大腦裡，數十億個互連的神經元網絡會處理感覺的資料，讓我們能夠從經驗中學習。人工神經網絡還可以按照它們自學而來的規則，通過互連的層過濾大量資料，進而預測和識别模式。
到目前為止，大家把神經網絡看作是AI的靈丹妙藥，能夠解決可以重述為模式識别問題的技術難題。他們提供聽起來顯得很自然的語言翻譯。照片應用用它們來識别相冊裡面的老面孔并對其進行分類。由神經網絡驅動的程式在圍棋和國際象棋等遊戲中擊敗了全世界上最好的棋手。
但是，在一個很惹眼的領域神經網絡始終滞後，那就是：解決困難的符号數學問題。包括微積分課程的标志，比方說積分或常微分方程。障礙源于數學本身的屬性，那需要有精确的解決方案。但神經網絡擅長的往往是機率。他們學會了識别模式——比如哪個西班牙語翻譯聽起來是最好的，或者你的臉型看起來怎樣——還可以生成新的模式。
這種情況在去年年底的時候發生了改變。當時，Guillaume Lample和François Charton這兩位在巴黎Facebook人工智能研究小組工作的計算機科學家，公開了第一個成功用神經網絡解決符号數學問題的方案。他們的方法不涉及數字運算或數值逼近。相反，他們發揮了神經網絡的優勢，把數學問題用一個實際上已被解決的問題重新進行诠釋：這個問題就是語言翻譯。
研究AI在數學當中的應用的Charton 說：“我們兩個的專業都是數學和統計學。數學是我們的母語。”
是以，Lample 和Charton的程式可以為複雜的積分和微分方程提供精确的解決方案，裡面包括内置了一些顯式的解決問題規則的流行數學軟體包。
Facebook的AI研究員François Charton（左） 和 Guillaume Lample（右）想出了一個辦法，将符号數學轉化成神經網絡可以了解的形式
這個新程式利用了神經網絡的主要優點之一：它們開發出自己的隐式規則。斯坦福大學的心理學家Jay McClelland說，其結果是，“規則與例外之間沒有差別。” McClelland研究的是用神經網絡來模拟人們如何學習數學。實際上，這意味着程式不會被最困難的積分給難倒。從理論上講，這種方法可以得出非正常的“規則”，進而可以在人或機器目前無法解決的問題上取得進展，比方說發現新證明或了解神經網絡本身性質的數學問題。
當然，那種情況還沒有發生。但是很顯然，這支團隊已經回答了那個已有幾十年曆史的問題——人工智能可以搞符号數學嗎？——而且是用肯定的語氣。AI研究組織OpenAI的聯合創始人Wojciech Zaremba 說：“他們已經建好了模型。算法也已經确立。他們用巧妙的方式給問題做出了公設。”
McClelland 說：“他們的确成功地想出了一個神經網絡，一個能夠解決超越遵循規則機器系統範疇問題的神經網絡。這非常令人興奮。”
教計算機講數學語言
處理數字一直是計算機的擅長。計算機代數系統結合了數十種乃至數百種跟預設指令硬連接配接的算法。它們通常是嚴格的規則遵循者，能夠執行特定的操作，但無法容納異常。對于許多符号問題來說，它們能夠産生對工程和實體應用而言足夠接近的數值解。
神經網絡不一樣。對它們沒有硬性規定。相反，它們靠大型資料集來訓練——規模越大越好——而且用統計資料可以得出很好的近似值。在此過程中，它們會學習哪些生成了最佳的結果。語言翻譯程式尤其令人眼前一亮：它們不用逐字地進行翻譯，而是根據整個文本的上下文來翻譯短語。Facebook研究人員認為這對解決符号數學問題來說是一種優勢，而不是障礙。它為程式提供了一種解決問題的自由。
對于某些開放性的問題，比方說積分法來說，這種自由特别有用。數學家之間流傳着一句老話：“微分是技術；積分是藝術。” 這意味着要想找到函數的導數，你隻需要遵循一些明确定義的步驟即可。但是要找到一個積分往往需要一些别的東西，某種更接近直覺而不是計算的東西。
他們的模型已經确立。那些算法已經确立。他們以巧妙的方式對問題提出了公設。
——Wojciech Zaremba，OpenAI
該Facebook小組猜測這種直覺可以用模式識别來逼近。Charton 說：“積分是數學當中跟模式識别最類似的問題之一。” 是以，哪怕神經網絡可能無法了解函數的作用或變量的含義，它們也的确會發展出一種本能。就算不知道為什麼，神經網絡能夠慢慢感覺出什麼才是有效的。
比方說，一位數學家被要求對類似
這樣的表達式求積分的話，他的直覺會懷疑原函數——也就是導緻積分出現的那個被微分的表達式——會包含類似y²+ 1的平方根這樣的東西。
為了讓神經網絡能夠像數學家一樣處理符号，Charton 和Lample 首先将數學表達式轉換成了更有用的形式。他們最終将它們重新解釋為樹——這種形式在精神上跟圖解的句子比較相似。數學運算符（比方說加，減，乘和除）會變成這顆樹的連接配接點。自乘或者三角函數之類的操作亦然。參數（變量和數字）變成了樹葉。除了極少數的例外，這種樹形結構抓住了把操作嵌套在更長的表達式裡面的那種方式。
Lample 說“當我們看到一個大型函數時，我們可以把它看成是由較小的函數組成的，并且對解是什麼有一些直覺。我們認為該模型試圖在符号當中找到有關解的線索。” 他說，這個過程跟大家解決積分（其實也是所有數學問題）的方式類似，辦法就是把它們簡化為以前解決過的可識别的子問題。
關于新程式如何将符号數學轉換成樹狀結構的簡要說明
在提出這種架構之後，研究人員用了一組基本函數來生成多個訓練資料集，總計有約2億個（樹形）方程和解。然後，他們把資料“饋送”給神經網絡，讓後者學習這些問題的解。
訓練結束後，就該看一下這個網絡能做什麼了。計算機科學家為它提供了含有5000個方程的測試集，但這次并不提供答案。（這些測試問題均未被歸類為“無法解決。”）神經網絡出色地通過了測試：它設法為絕大多數問題找到了正确的解，包括精度等等。這個網絡尤其擅長積分，可以解決将近100％的測試問題，但是對于解常微分方程卻不太成功。
對于幾乎所有問題，該程式隻用了不到1秒鐘的時間即可生成正确的解。對于積分問題，它在速度和準确性方面均勝過了流行的軟體包Mathematica 和Matlab 裡面的某些求解器。Facebook團隊報告說，神經網絡還生成了那些商業求解器都沒法處理的問題的解。
進入黑匣子
盡管取得了這些結果，但做出了Mathematica的Wolfram研究與開發負責人，數學家Roger Germundsson卻對這種直接比較提出了質疑。Facebook研究人員隻是把他們的方法跟Mathematica的部分函數（即對積分進行“積分”和對微分方程進行“DSolve”處理）進行了比較，但Mathematica使用者還可以使用數百種其他的求解工具。
Germundsson 還指出，盡管這個訓練資料集很龐大，但納入進來的隻是隻有一個變量的方程，而且隻包含了那些以基本函數為基礎的方程。他說：“這隻占可能的表達式的一小部分。” 他們還沒有對神經網絡進行過實體和金融領域常用的更難處理的函數（比方說誤差函數或貝塞爾函數）的測試。（Facebook的這個小組表示，将來的版本可能會做此類測試，隻需要非常簡單的修改。）
Frédéric Gibou，加利福尼亞大學聖塔芭芭拉分校數學家，他曾經調查過利用神經網絡解決偏微分方程的各種手段，也并不認為Facebook這個小組的神經網絡是萬無一失的。他說：“你得确信它能夠一直有效，而不僅僅是解決某些標明的問題，但事實并非如此。” 其他批評家則指出，Facebook小組的神經網絡其實并不真正了解數學。它隻是猜答案的能力特别出色。
不過他們還是認同了這種新方法會被證明是有用的。Germundsson 和Gibou 認為，神經網絡将在下一代的符号數學求解器清單當中占據一席之地——隻不過這張表會很龐大。Germundsson 說：“我認為它會是衆多工具之一。”
除了解決符号數學的這一特定問題外，Facebook這個小組的工作是這類方法的原則和力量的一個令人鼓舞的證明。劍橋大學數學家Anders Hansen表示：“ 如果這些技術能夠解決人們以前無法解決的問題，那麼數學家總的來說會感到印象深刻。”
我們認為該模型試圖在符号當中找到有關解的線索。
——Facebook AI Research 的Guillaume Lample
神經網絡可以去探索的另一個可能方向是自動定理生成器的開發。Lample說，盡管“目前的技術水準還沒有取得太多的進展，”但數學家們正在加大如何用人工智能來産生新的定理和證明的力度。“這是我們在尋找的東西。”
Charton介紹了他們的辦法至少有兩種方式可以推動AI定理發現。第一，它可以充當數學家的助手，通過識别已知猜想中的模式為一個之前存在的問題提供幫助。其次，機器可以生成數學家錯過的潛在可證明的結果清單。他說：“我們相信，隻要可以積分，就應該能夠證明。”
為證明提供幫助可能最終會成為殺手級的應用，其效果甚至超出了Facebook團隊的描述。證明定理的一種常見辦法是提出一個反例，證明它不成立。這是這類神經網絡有朝一日可能非常适合的一項任務：找到一把意想不到的扳手然後扔進機器裡面。
這種方案展現出解決希望的另一個未解決問題是神經網絡最令人不安的方面之一：沒有人真正了解它們是如何工作的。訓練的比特從一頭輸入，然後預測比特就會在另一頭出現，但是中間發生了什麼——讓神經網絡得出那麼好的正确率的确切的過程——仍然是一個關鍵的，懸而未決的問題。
另一方面，符号數學顯然沒有那麼神秘。Charton 說：“我們知道數學是如何工作的。通過用特定的數學問題作為測試來看看機器在什麼地方取得了成功，在哪些地方失敗了，我們就可以學習神經網絡的工作原理。”
不久之後，他和Lample 計劃将數學表達式輸入到他們的網絡裡面，然後跟蹤程式對表達式當中的微小變化是如何響應的。把輸入觸發器的變化跟輸出對應起來，也許就能幫助揭示神經網絡的運作方式。
Zaremba 認為，這種了解是教神經網絡學會推理和真正了解它們正在回答的問題潛在的步驟。他說：“在數學上做出改變，讓表達式發生變化，然後看看神經網絡工作效果如何是很容易的。我們也許能夠真正地學會推理方法，而不僅僅是得出答案。這樣結果将會非常的強大。”
譯者：boxi。
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/live立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-06-10
本文作者：神譯局
本文來自：“
36kr”，了解相關資訊可以關注“
”