編輯 | 白菜葉
與計算機科學家 Ellie Pavlick 談論她的工作——尋找大語言模型 (LLM) 中了解的證據——聽起來可能像是在開玩笑。「hand-wavy」這個短語是她最喜歡的，如果她提到「意義」或「推理」，它通常會帶有引号。
作為一名在布朗大學和 Google DeepMind 研究語言模型的計算機科學家，她知道接受自然語言固有的模糊性是認真對待自然語言的唯一方法。「這是一門科學學科——而且有點脆弱。」她說。
從青春期開始，精确性和細微差别就一直存在于 Pavlick 的世界裡，當時她喜歡數學和科學。作為一名大學生，她獲得了經濟學和薩克斯演奏學位，然後攻讀計算機科學博士學位，但她仍然覺得自己在這個領域是個局外人。
「很多人[認為]智能系統看起來很像計算機代碼：整潔且友善，就像[我們]擅長了解的許多系統一樣。」她說，「我隻是相信答案很複雜。如果我有一個簡單的解決方案，我很确定它是錯誤的。我不想犯錯。」
一次偶然的機會，Pavlick 遇到了一位從事自然語言處理工作的計算機科學家，于是她開始了她的博士研究課題，研究計算機如何編碼語義或語言中的意義。「我認為這很有趣。」她說，「它涉及哲學，這與我目前正在做的很多事情相符。」
現在，Pavlick 的主要研究領域之一集中在「基礎」——單詞的含義是否取決于獨立于語言本身而存在的事物的問題，例如感官知覺、社互動動，甚至思想。
語言模型完全基于文本進行訓練，是以它們為探索基礎對意義的重要性提供了一個富有成效的平台。但這個問題本身幾十年來一直困擾着語言學家和思想家們。
「這些不僅僅是『技術』問題。」Pavlick說，「語言是如此之大，對我來說，感覺它涵蓋了一切。」
在這裡，媒體與 Pavlick 讨論了這些問題。
Q：從經驗上來說，「了解」或「意義」意味着什麼？具體來說，你在尋找什麼？
A：當我在布朗大學開始我的研究項目時，我們認為意義在某種程度上涉及概念。我意識到這是一個理論上的承諾，并不是每個人都會做出這樣的承諾，但它看起來很直覺。
如果你用「apple」這個詞來表示蘋果，你就需要一個蘋果的概念。無論你是否使用這個詞來指代它，它都必須是一件事。這就是「有意義」的含義：需要有一個概念，即你正在用語言表達的東西。
我想在模型中找到概念。我想要一些我可以在神經網絡中擷取的東西，證明有一個東西在内部代表「蘋果」，這使得它可以被同一個詞一緻地引用。因為似乎确實存在這種内部結構，它不是随機的、任意的。你可以找到這些定義明确的函數的小塊，可以可靠地執行某些操作。
我一直專注于描述這種内部結構。它有什麼形式？它可以是神經網絡内權重的某個子集，或者是對這些權重的某種線性代數運算，某種幾何抽象。但它必須在[模型的行為中]發揮因果作用：它與這些輸入相關，但與那些輸出無關，與這些輸出相關，但與那些輸出無關。
這感覺就像你可以開始稱之為「意義」的東西。這是關于弄清楚如何找到這種結構并建立關系，以便一旦我們将其全部到位，我們就可以将其應用于諸如「它知道『蘋果』意味着什麼嗎？」之類的問題。
Q：你找到過這種結構的例子嗎？
A：是的，有一個研究結果涉及語言模型何時檢索一條資訊。
論文連結：https://arxiv.org/abs/2305.16130
如果你詢問模型「法國的首都是什麼」，它需要說「巴黎」，而「波蘭的首都是什麼」應該回複「華沙」。它很容易記住所有這些答案，并且它們可以分散在[模型内]各處 - 沒有真正的理由讓它在這些事物之間建立聯系。
相反，我們在模型中發現了一個有趣的小地方，它基本上将連接配接簡化為一個小向量。如果将其添加到「法國的首都是什麼」，它将檢索「巴黎」；如果你問「波蘭的首都是什麼」，同一個向量将檢索「華沙」。就像這個系統的「檢索首都城市」向量。
這是一個非常令人興奮的發現，因為[該模型]似乎是在總結這些小概念，然後對它們應用通用算法。盡管我們正在研究這些非常 [簡單] 的問題，但它是為了尋找模型正在使用的這些原始成分的證據。
在這種情況下，擺脫記憶會更容易——在很多方面，這就是這些網絡的設計目的。相反，它将[資訊]分解為碎片和相關的「原因」。我們希望，當我們提出更好的實驗設計時，我們可能會為更複雜的概念找到類似的東西。
Q：「基礎」與這些表述有何關系？
A：人類學習語言的方式基于大量的非語言輸入：你的身體感覺、你的情緒、你是否餓了等等。這被認為對于意義來說非常重要。
但還有其他一些與内部表征更多相關的基礎概念。有些詞與物質世界沒有明顯的聯系，但它們仍然有意義。像「民主」這樣的詞就是一個最喜歡的例子。這是你腦子裡的一件事：我可以在不談論民主的情況下思考它。是以基礎可能是從語言到那個東西，那個内部表征。
Q：但你認為，即使是更外在的事物，比如顔色，也可能仍然錨定于内部「概念」表征，而不依賴于感覺。那會如何運作呢？
A：嗯，語言模型沒有眼睛，對吧？它對顔色一無所知。是以也許[它捕獲]了一些更普遍的東西，比如了解它們之間的關系。我知道當我将藍色和紅色混合起來時，我會得到紫色；這些類型的關系可以定義這種内部[基礎]結構。
我們可以使用 RGB 代碼 [代表顔色的數字字元串] 向 LLM 提供顔色示例。如果你說「好的，這裡是紅色」，并給出紅色的 RGB 代碼，「這是藍色」，給出藍色的 RGB 代碼，然後說「告訴我紫色是什麼」，它應該生成紫色的 RGB 代碼。這種映射應該很好地表明模型的内部結構是健全的——它缺少[顔色]的感覺，但概念結構就在那裡。
棘手的是，[模型]隻能記住 RGB 代碼，這些代碼遍布其訓練資料。是以，我們「倒轉」了所有顔色[遠離其真實的 RGB 值]：我們會告訴 LLM，「黃色」一詞與代表綠色的 RGB 代碼相關聯，依此類推。該模型表現良好：當你要求綠色時，它會給你 RGB 代碼的倒轉版本。這表明其内部顔色表示存在某種一緻性。它是應用他們之間關系的知識，而不僅僅是記憶。
這就是「基礎」的全部要點。将名稱映射到顔色是任意的。更多的是關于他們之間的關系。是以這很令人興奮。
Q：這些聽起來很哲學的問題怎麼可能是科學的呢？
A：我最近看到了一個思想實驗：如果海洋沖到沙子上并且[當它]退潮時，留下的圖案會生成一首詩，會怎麼樣？這首詩有意義嗎？這看起來非常抽象，你可以進行很長的哲學辯論。
語言模型的好處是我們不需要思想實驗。這不像是「從理論上講，這樣那樣的東西會有智能嗎？」 隻是：這東西有智能嗎？它變得科學和可實踐。
有時人們會不屑一顧；有一種「随機鹦鹉學舌」方法。我認為這是因為有人擔心人們會過度關注這些東西——我們确實看到了這一點。為了糾正這一點，人們會說：「不，這都是騙局。這都是霧裡看花。」
這有點幫倒忙。我們發現了一些非常令人興奮和新穎的東西，值得深入了解它。這是一個巨大的機會，不應該因為我們擔心過度解釋模型而被忽視。
Q：當然，你也做出了研究來澄清這種過度解釋。
論文連結：https://www.semanticscholar.org/paper/Right-for-the-Wrong-Reasons:-Diagnosing-Syntactic-McCoy-Pavlick/42ed4a9994e6121a9f325f5b901c5b3d7ce104f5
A：在這項工作中，人們發現了模型所利用的所有「淺層啟發法」（以模仿了解）——這些對于我作為一名科學家的成長來說是非常基礎的。
但這很複雜。就像，不要太早宣稱勝利。[我内心]對評估是否正确有一點懷疑或偏執，即使是我知道我設計得非常仔細的評估！這就是其中的一方面：不要過度宣稱。
另一方面是，如果你處理這些[語言模型]系統，你就會知道它們不是人類水準的——它們解決問題的方式并不像看起來那麼智能。
Q：當這個領域有如此多的基本方法和術語存在争議時，你如何衡量成功呢？
A：我認為，作為科學家，我們正在尋找的是對我們所關心的事物（在本例中為智力）的精确、人類可以了解的描述。然後我們附上文字來幫助我們到達那裡。我們需要某種工作詞彙。
但這很難，因為這樣你就可能陷入這場語義之戰。當人們問「它有意義嗎：是或否？」 我不知道。我們把對話引向了錯誤的方向。
我試圖提供的是對我們關心解釋的行為的精确描述。在這一點上，無論你想稱之為「意義」還是「表征」，或者任何這些負載詞，都沒有什麼意義。關鍵是，有一個理論或提議的模型擺在桌面上——讓我們對其進行評估。
Q：那麼，語言模型的研究如何才能轉向更直接的方法呢？
A：我真正希望能夠回答的深層問題——智力的組成部分是什麼？人類的智慧是什麼樣的？模型智能是什麼樣的？——真的很重要。但我認為未來 10 年會發生的事情并不是很迷人。
如果我們想要處理這些[内部]表征，我們需要找到它們的方法——科學上合理的方法。如果以正确的方式完成，這種低級的、超級雜亂的方法論的東西就不會成為頭條新聞。但這是真正重要的東西，可以讓我們正确回答這些深刻的問題。
與此同時，模型将不斷變化。是以，人們會繼續釋出很多東西，好像這是「突破」，但事實可能并非如此。在我看來，現在取得重大突破還為時過早。
人們正在研究這些非常簡單的任務，比如詢問[一個需要完成的語言模型]「約翰給_______喝了一杯酒」，并試圖看看它是說「約翰」還是「瑪麗」。這沒有解釋智力的結果的感覺。
但我确實相信，我們用來描述這個無聊問題的工具對于回答有關智力的深層問題至關重要。
相關報道：https://www.quantamagazine.org/does-ai-know-what-an-apple-is-she-aims-to-find-out-20240425/