作者· | 褚杏娟
“也許這有點不合常理，但這是我很長時間以來看到的最好的谷歌 I/O。”有開發者對昨晚如期而至的谷歌 I/O 2023 大會作出了如此評價，“我知道今年人工智能将受到極大關注，但我仍對許多新功能以及這些內建發生的速度感到驚喜。”
在這次 I/O 大會上，谷歌試圖向大衆呈現出自己與 OpenAI 抗衡的實力：釋出了與 GPT-4 對打的 PaLM 2、Bard 進化後向所有人開放、移動端也可以用 AI 新功能等等。正如谷歌首席執行官Sundar Pichai 說的，谷歌正在重構自己的所有核心産品，包括搜尋。
與 GPT-4 對打的 PaLM 2
毫無疑問，被寄予厚望的 PaLM 2 成為這次大會的亮點之一。PaLM 2 是⼀種基于 Transformer 的模型，使⽤類似于 UL2 的混合⽬标進⾏訓練。
谷歌于 2022 年 4 月首次宣布推出 PaLM 模型。PaLM 的應用在這一年取得了很大的進展，今年 3 月，該公司推出了一款适用于 PaLM 的 API 以及一系列人工智能企業工具，幫助企業“通過簡單的自然語言提示生成文本、圖像、代碼、視訊、音頻等”。這次大會上，Pichai 宣布推出 PaLM 2 預覽版本，改進了數學、代碼、推理、多語言翻譯和自然語言生成能力。
多語言能力
谷歌聲稱，PaLM 2 是一種最先進的語言模型，具有改進的多語言、推理和編碼功能。PaLM 2 在所有資料集上都優于 PaLM，并取得了與 GPT-4 競争的結果。
之前的大型預訓練語言模型通常使用以英國文本為主的資料集，谷歌設計了一個更多語言和多樣化的預訓練混合模型，擴充到數百種語言和領域（例如程式設計語言、數學和并行多語言文檔）。更大的模型可以處理更多不同的非英語資料集，而不會導緻英語語言了解性能的下降，并應用重複資料删除來減少記憶。
PaLM 2 在多語言文本方面接受了更多的訓練，涵蓋 100 多種語言，顯着提高了其在多種語言中了解、生成和翻譯細微差别文本（包括成語、詩歌和謎語）的能力。根據基準測試，對于具有思維鍊 prompt 或自洽性的 MATH、GSM8K 和 MGSM 基準評估，PaLM 2 的部分結果超越了 GPT-4。
PaLM 2 還通過了“精通”級别的進階語言能力考試。其中，PaLM 2 的日語水準達到了 A 級，而 PaLM 是 F 級。PaLM 2 的法語水準達到了 C1 級。
PaLM 2 和 PaLM 在最新的專業語⾔能⼒考試中的表現
不僅如此，PaLM 2 還了解重要的語言細微差别。在一篇描述 PaLM 2 功能的研究論文中，谷歌工程師聲稱該系統的語言熟練程度“足以教授該語言”，并指出這是由于其訓練資料中非英國文本更為普遍。
PaLM 2 的廣泛資料集包括科學論文和包含數學表達式的網頁，是以它還展示了邏輯、常識推理和數學方面的改進能力。
PaLM 2 推理能力示例
支援 20 種程式設計語言
PaLM 2 還改進了對編寫和調試代碼的支援。該模型使用 20 種程式設計語言進行了訓練，包括 JavaScript 和 Python 等流行語言，還包括 Prolog、Verilog 和 Fortran 等語言。PaLM 2 構成了 Codey 的基礎，Codey 是谷歌用于編碼和調試的專業模型，它也作為其代碼完成和生成服務的一部分推出。
代碼語⾔模型是當今最具經濟意義和被⼴泛部署的 LLM 之⼀。為了在開發⼈員⼯作流程中進⾏低延遲、⾼吞吐量部署，谷歌通過在擴充的、代碼密集型、多語⾔的資料混合上繼續訓練 PaLM 2-S 模型，建構了⼀個⼩型的、特定于編碼的 PaLM 2 模型，谷歌将⽣成的模型稱為 PaLM 2-S* 。
PaLM 2-S* 在大量公開可用的源代碼資料集上進行了預訓練。它擅長 Python 和 JavaScript 等流行的程式設計語言，但也可以生成 Prolog、Fortran 和 Verilog 等語言的專用代碼。
PaLM 2-S*在除了兩種語言之外的所有語言上都優于 PaLM，同時在像 Julia 和 Haskell 這樣的低資源語言上幾乎沒有下降。例如，PaLM 2-S*在 Haskell 上比更大的 PaLM-Coder-540B 提高了 6.3 倍，在 Julia 上提高了 4.7 倍。值得注意的是，Java、JavaScript 和 TypeScript 的性能實際上比原始語言 Python 更高。
PaLM 2 可以跨程式設計和自然語言生成代碼和自然語言。大會上，Pichai 還展示了在修改代碼 Bug 後，PaLM 2 給出的韓語評論。
谷歌内部已經有超過 70 個産品團隊正在使用 PaLM 2 建構産品，包括分别針對安全知識和醫療知識微調而成的 Sec-PaLM 和 Med-PaLM 2。
其中，Sec-PaLM 是專注于安全用例的版本，使用 AI 幫助分析和解釋具有潛在惡意腳本的行為，并檢測哪些腳本對個人或組織構成威脅。Med-PaLM 2 是基于健康資料訓練的版本，可以輕松通過美國醫學執照考試，達到“專家”水準。
不需要雲，一部手機即可
Hoffmann 等人提出的計算最優縮放（Compute-optimal scaling）表明，資料大小至少與模型大小同等重要。谷歌在對更大的計算量進行驗證後，同樣發現資料和模型大小應該大緻按 1：1 縮放，以實作給定訓練量的最佳性能計算（與過去趨勢相反，過去趨勢将模型擴充的速度比資料集快 3 倍)。
谷歌表示，模型縮放并不是提⾼性能的唯⼀⽅法。相反，可以通過細緻的資料選擇和⾼效的架構/⽬标來釋放性能。此外，更⼩但品質更⾼的模型顯着提⾼了推理效率，降低了服務成本，并使模型的下遊應⽤能夠為更多的應⽤程式和使用者服務。
PaLM 2 比 PaLM 存儲的訓練資料更少
與其他需要大量時間和資源來建立的大型語言模型一樣，PaLM 2 與其說是一個産品，不如說是一個産品系列。
PaLM 2 包含了 4 個不同參數的模型，包括壁虎（Gecko）、水獺（Otter）、野牛（Bison）和獨角獸（Unicorn），并在特定領域的資料上進行了微調，為企業客戶執行某些任務。這意味着使用者不用花費大量的時間和資源來建立模型，直接部署即可。
其中，Gecko 非常輕巧，可以在移動裝置上工作，每秒可以處理 20 個 token，大約每秒 16 或 17 個單詞，即使在離線時也能在裝置上運作出色的互動式應用程式。Gecko 不需要使用者在雲工作，也不需要特别強大的硬體，一個完全移動的手機晶片組就足夠了。
“我們在工作中發現，并不是模型越大越好。”DeepMind 副總裁 Zoubin Ghahramani 說道，“這就是為什麼我們提供了一系列不同尺寸的模型。實際上，參數規模并不是一種判斷模型能力的有效方法，能力實際上是由使用模型的人來判斷的，并确定它們在模型實作測試中是否有用。”
谷歌沒有說明使用什麼硬體來測試這個模型，隻是說它在“最新的手機上”運作。然而，将語言模型的小型化意義重大。這樣的系統在雲端運作的成本很高，在本地使用可以減少成本。另外，還可以改善隐私等。不過問題在于，較小版本的語言模型不可避免地不如它們的較大版本。
另外大會上，谷歌還推出了個性化 Android 手機的新方法，包括 Magic Compose、Cinematic Wallpaper 和 Generative AI Wallpaper。其中，Magic Compose 是由生成式 AI 提供支援的 Google Messages 新功能，會根據消息的上下文提供回複建議，甚至會将使用者寫的内容轉換為不同的風格。 下一代移動作業系統 Android 14 将支援這些新功能。
PaLM 2 現在可通過 Google 的 PaLM API、Firebase 和 Colab 提供給開發人員。借助 PaLM 2，谷歌希望縮小公司與微軟等競争對手之間的“人工智能差距”，否則可能會被認為實施其 AI 研究的速度緩慢。
在 Google Brain 和 DeepMind 合并之後，谷歌新的大模型也在研發當中。Pichai 表示，現在谷歌的研究重心正在轉向 Gemini，這是一種多模态和高效的機器學習工具。
Bard 的進化
在谷歌内部内，PaLM 2 已經被用于支援 25 種功能和産品，包括該公司的實驗性聊天機器人 Bard。Bard 在圖像功能、編碼功能和應用程式內建等方面都做了大幅更新。
Bard 将更加直覺地響應使用者問題。比如對于“新奧爾良有哪些必看景點？”之類的問題，除了文本之外，使用者還将看到豐富的圖檔視覺效果。使用者還可以在自己的要求中附加圖像和文本：
程式設計方面，谷歌也将開發人員的回報整合到了一些關鍵的編碼更新中，包括：
- 來源引用：從下周起，代碼引用将更加精确。如果 Bard 引入了一段代碼或引用了其他内容，隻需單擊注釋，Bard 就會在相應内容下劃線并連結到源代碼。
- 深色主題：這是開發人員要求的另一項功能，谷歌希望以此讓開發人員更輕松地與 Bard 互動。
- “導出”按鈕：谷歌即将與合作夥伴 Replit 一起推出導出和運作代碼的功能，首先會從 Python 開始。
另外，由于人們經常要求 Bard 搶先起草電子郵件和文檔，谷歌大會上推出了兩個導出操作，使用者可以輕松将 Bard 的回複直接轉移到 Gmail 和 Docs 中。
繼微軟 5 月 4 日宣布公司旗下基于 ChatGPT-4 的 Bing Chat 功能面向所有使用者開放後，谷歌在本次大會上也宣布，Bard 将并向 180 多個國家和地區開放，其他更多國家和地區也将陸續開放。Bard 現在有日語和韓語版本，谷歌表示很快就會支援 40 種語言。
結束語
“作為 AI-first 公司，我們的旅程已經有七年了，我們正處于一個激動人心的轉折點。”Pichai 說道，“AI 的轉變與它來時一樣大，沒有一家公司可以單獨做到這一點。我們的開發者社群将是釋放未來巨大機遇的關鍵。”
PaLM 2 無疑是谷歌在 AI 語言模型方面邁出的重要一步，但它面臨着更廣泛的、該類技術普遍存在的挑戰。
例如，一些專家質疑用于建立語言模型的訓練資料的合法性。這些資料通常是從網際網路上抓取的，通常包括受版權保護的文本和盜版電子書。建立模型的科技公司通常拒絕回答他們從何處擷取訓練資料的問題。谷歌在其對 PaLM 2 的描述中延續了這一傳統，僅指出該系統的訓練語料庫由“一組不同的來源組成：網絡文檔、書籍、代碼、數學和對話資料”，但沒有提供更多細節。
語言模型的輸出也存在一些固有問題，例如“虛假”，或者這些系統傾向于簡單地編造資訊。谷歌研究副總裁 Zoubin Ghahramani 在接受外媒采訪時表示，在這方面，PaLM 2 是對早期模型的改進，“從某種意義上說，我們正在投入大量精力來不斷改進基礎和歸因名額”，但他也指出，整個領域在打擊人工智能産生的虛假資訊方面“還有很長的路要走”。
雖然很多開發者很開心看到谷歌的釋出成果，但部分人還是對“實際用起來是否會像谷歌宣傳的那樣的好”保持懷疑。相信我們會很快看到這個問題的答案。
參考連結：
https://ai.google/static/documents/palm2techreport.pdf
https://blog.google/technology/ai/google-io-2023-keynote-sundar-pichai/#ai-responsibility
https://www.theverge.com/2023/5/10/23718046/google-ai-palm-2-language-model-bard-io
本文轉載來源：
https://www.infoq.cn/news/8rtmSJNmCIZauii2I7ju