轉自 專知
大型語言模型的出現标志着人工智能領域的一次革命性突破。得益于前所未有的訓練規模和模型參數，大型語言模型的能力得到了顯著提升，進而在了解、語言合成和常識推理等方面達到了與人類相似的表現。這種在通用AI能力上的重大飛躍将從根本上改變個性化服務的實施模式。
首先，它将改變人類與個性化系統之間的互動方式。大型語言模型不再是像傳統的推薦系統和搜尋引擎那樣的被動資訊過濾媒體，而是為主動使用者參與提供了基礎。在這樣一個新的基礎上，可以主動探索使用者的請求，并以自然、互動和可解釋的方式提供使用者所需的資訊。
其次，它還将大大擴充個性化服務的範圍，使其從僅僅收集個性化資訊發展到提供個性化服務的複合功能。通過利用大型語言模型作為通用界面，個性化系統可以将使用者的請求編譯為計劃，調用外部工具（例如搜尋引擎、電腦、服務API等）的功能來執行這些計劃，并整合這些工具的輸出，完成端到端的個性化任務。如今，大型語言模型仍在快速發展，而在個性化應用中還大都未被探索。
是以，我們認為現在是時候審視個性化服務的挑戰以及用大型語言模型來解決它們的機會了。特别是，我們在這篇展望性論文中專門讨論了以下幾個方面：現有個性化系統的發展和挑戰、大型語言模型新出現的能力，以及如何利用大型語言模型進行個性化的潛在方法。
https://www.zhuanzhi.ai/paper/325807b835937e4e1b068dc515b57c26
大型語言模型的出現[1]在了解人類表達方面顯示出了顯著的進步，深刻地影響了AI社群。這些模型配置了大量的資料和大規模的神經網絡，展示了在了解人類語言和生成與我們相似的文本方面的卓越能力。其中的能力包括推理[2]、少次學習[3]以及在預訓練模型中融合大量的世界知識[1]。這标志着人工智能領域的一個重大突破，導緻了我們與機器互動的革命。是以，大型語言模型在從自然語言處理和機器翻譯到創意内容生成和聊天機器人開發的各種應用中都變得不可或缺。特别是ChatGPT的推出，受到了人類社群的廣泛關注，促使人們反思大型語言模型的變革力量及其推動AI能夠達到的界限的潛力。這種颠覆性的技術承諾改變我們在無數領域與AI的互動和利用方式，為創新打開了新的可能性和機會。随着這些語言模型繼續進步和發展，它們有望塑造人工智能的未來，使我們能夠探索未知領域并在人機合作中發掘更大的潛力。
個性化，即根據個人喜好量身定制體驗的藝術，是連接配接人類與機器之間差距的一個關鍵且動态的紐帶。在當今的技術驅動世界中，個性化在增強使用者與各種數字平台和服務的互動和參與中起到了關鍵的作用。通過适應個人的偏好，個性化系統賦予機器滿足每個使用者獨特需求的能力，進而使互動更為高效和愉快。此外，個性化不僅僅是内容推薦；它涵蓋了使用者體驗的各個方面，包括使用者界面、交流風格等。随着人工智能的不斷進步，個性化在處理大量互動和多樣化的使用者意圖方面變得越來越複雜。這要求我們開發更先進的技術來應對複雜的場景，提供更加愉快和滿意的體驗。對改進個性化的追求是由希望更好地了解使用者并滿足他們不斷變化的需求的願望驅動的。随着技術的發展，個性化系統很可能會繼續演變，最終創造出一個人機互動無縫融入我們生活的每一個方面的未來，為我們的日常生活提供個性化和量身定制的體驗。
大型語言模型，憑借其深入和廣泛的能力，有潛力革命化個性化系統，改變人類的互動方式并擴大個性化的範圍。人機之間的互動不再僅僅可以被分類為主動和被動，就像傳統的搜尋引擎和推薦系統一樣。然而，這些大型語言模型不僅僅是簡單的資訊過濾，它們還提供了多樣化的附加功能。具體來說，系統會主動和全面地探索使用者的意圖，使使用者和系統之間能夠通過自然語言進行更直接和無縫的溝通。與依賴于抽象且難以解釋的基于ID的資訊表示的傳統技術不同，大型語言模型能夠更深入地了解使用者的确切需求和興趣。這種更深入的了解為更高品質的個性化服務鋪平了道路，以更精細和有效的方式滿足使用者的需求和偏好。此外，通過大型語言模型的能力，各種工具的整合得到了極大的增強，大大擴充了個性化系統的可能性和應用場景。通過将使用者需求轉化為計劃，包括了解、生成和執行它們，使用者可以通路各種各樣的資訊和服務。重要的是，使用者并不知道背景發生的複雜轉換過程，因為他們體驗到的是一個無縫的端到端模型。從這個角度來看，大型語言模型在個性化方面的潛力尚未被充分探索。
本文探讨了個性化中的挑戰，并探索了使用大型語言模型的潛在解決方案。在現有的相關工作中，LaMP [4] 為訓練和評估語言模型在資訊檢索系統中生成個性化輸出引入了一個新的基準。另一方面，其他相關的調查[5]、[6]、[7]主要關注傳統的個性化技術，如推薦系統。從學習機制的角度，LLM4Rec [5] 深入探讨了用于推薦的區分性LLM和用于推薦的生成性LLM。關于LLM适應推薦系統的"在哪裡"和"如何"，Li等人[6]關注了工業推薦階段的整體流程。而Fan等人[7]則進行了一項重點關注預訓練、微調和提示方法的回顧。雖然這些工作讨論了像Bert和GPT這樣的預訓練語言模型以便于分析，但他們對大型語言模型的新興能力關注有限。本文旨在通過檢查大型語言模型在個性化背景下的獨特和強大的能力來填補這一空白，并進一步用工具擴充個性化的範圍。
本綜述的其餘部分的組織結構如下：我們在第2節回顧了個性化和大型語言模型，以概述其發展和挑戰。然後，我們在第3節仔細讨論了大型語言模型在個性化中的潛在作用，包括簡單利用新興能力以及與其他工具的複雜內建。我們還讨論了将大型語言模型适應于個性化時可能遇到的挑戰。
大型語言模型用于個性化
在接下來的部分中，我們深入探讨了大型語言模型在個性化方面的潛力，從簡單的使用情境，如利用詞彙知識作為特征，到與其他工具子產品更為複雜的內建，使其起到代理的作用。具體來說，我們關注于新興能力的進展，從基礎的世界知識和了解使用者意圖開始，發展到進階的推理能力。我們探索了大型語言模型如何有助于建構一個知識庫，豐富關于各種項目的常識知識。此外，我們還讨論了大型語言模型的了解能力如何賦予内容解釋者和解釋者對互動的深入分析能力。此外，我們還觀察了利用大型語言模型的推理能力為系統推理者提供推薦結果的嘗試。這些越來越複雜的能力使得大型語言模型與其他工具子產品的複雜利用成為可能，使它們更好地了解使用者意圖并滿足使用者指令。是以，我們還探讨了大型語言模型與其他個性化工具的內建，包括工具學習、會話代理和個性化内容建立者。本章的概述如圖1所示。我們的全面調查旨在提供對目前格局的更深入的了解，并闡明将大型語言模型整合到個性化中所帶來的機會和挑戰。
大模型即知識庫
大型語言模型（Large Language Models，簡稱LLMs）檢索事實知識作為顯式知識庫的能力 [38], [39], [40], [41], [42], [43], [40], [41], [44], [45], [46] 已引起了廣泛的讨論，這為在推薦系統内建構更為全面的知識圖譜提供了機會。回溯到 [38] 的工作，大型語言模型在存儲事實資訊，如實體和常識，以及将常識可靠地轉移給下遊任務方面展示了其令人印象深刻的能力。現有的知識圖譜方法難以處理不完整的KGs [47] 和利用文本語料建構KGs [48]，許多研究者嘗試利用LLMs的能力來解決這兩個任務，即知識圖譜的補全 [49] 和知識圖譜的建構 [50]。對于知識圖譜的補全，這是指在給定的知識圖譜中缺失事實的任務，近期的努力已緻力于為知識圖譜編碼文本或生成事實。MTL-KGC [51] 對文本序列進行編碼以預測元組的可能性。MEMKGC [52] 預測了三元組的掩碼實體。StAR [53] 使用暹羅文本編碼器分别對實體進行編碼。GenKGC [54] 使用僅解碼器的語言模型直接生成尾實體。TagReal [55] 從外部文本語料庫中生成高品質的提示。AutoKG [48] 直接采用了LLMs，例如ChatGPT和GPT-4，并設計了定制提示以預測尾實體。至于另一個重要任務，即知識圖譜的建構，這是指建立知識的結構化表示，LLMs可以應用于建構知識圖譜的過程中，包括實體發現 [56], [57], coreference resolution [58], [59] 和關系抽取 [60], [61]。LLMs還可以實作端到端的建構 [62], [50], [42], [63], [55]，直接從原始文本建構KGs。LLMs允許知識提取建構知識圖譜。symbolic-kg [64] 從GPT3中提取常識事實，然後微調小型學生模型以生成知識圖譜。這些模型已經展示了存儲大量知識的能力，為提高知識圖譜的範圍和深度提供了一個可行的選擇。此外，這些進展促使人們研究從LLMs到知識圖譜的存儲知識的直接轉移，消除了對人類監督的需求。這項有趣的研究揭示了利用尖端的大型語言模型自動完成知識圖譜的可能性。
LLMs 作為内容解釋器
基于内容的推薦器為緩解推薦系統中的稀疏回報問題提供了有效的解決方案。通過利用物品的屬性和特性，這些系統對其屬性有了更深入的了解，促使與使用者偏好的準确比對。然而，在基于内容的推薦中使用的内容特性也可能表現出稀疏性。僅僅依賴推薦的監督信号，如點選和浏覽，可能不能充分利用這些特性的潛在好處。為了克服這一挑戰，語言模型作為強大的基本算法出現，它們在處理文本特性時充當内容解釋器。他們的利用增強了推薦系統的有效性，有效地了解和解釋文本内容，進而改進了推薦。
結論
總的來說，大型語言模型的出現在人工智能領域代表了一個重大的突破。它們在了解、語言分析和常識推理方面的增強能力為個性化打開了新的可能性。在本文中，我們從幾個角度讨論了大型語言模型适應個性化系統的時機。我們已經觀察到，從利用大型語言模型的低級能力來提高性能，到利用它們在與外部工具的複雜互動中進行端到端任務的潛力，這種進展都有所進化。這種演變有望徹底改變個性化服務的提供方式。我們也承認，将大型語言模型內建到個性化系統中帶來的開放性挑戰。