機器之心報道
機器之心編輯部
大模型的下一個形态,不再是人和模型一輪一輪的即時問答了。
這可能會是AI技術形态的一個轉折點。
當地時間 7 月 29 日,在美國丹佛舉行的第 51 屆 SIGGRAPH 計算機圖形學會議上,英偉達創始人、CEO 黃仁勳與 Meta 創始人、CEO 馬克・紮克伯格進行了一場全球矚目的爐邊談話。
這兩位當今全球科技領域的大佬,既是創始 CEO,又都是生成式 AI 技術的引領者,在長達一個小時的交談時間裡既贊美了開源,怒罵了蘋果,又探讨了未來生成式 AI 應用的前景,最後還互相交換了皮衣。
這場對話主要圍繞生成式 AI 技術,及其在各種領域上的應用展開。
黃仁勳與紮克伯格談到:生成式 AI 可能将會改變社交媒體的推薦系統,很快系統将根據你的興趣推薦内容。社交媒體可能演化為系統為你綜合當下發生的事情,生成即時創造的内容。随着模型的通用性增強,我們也可能從此告别在軟體之間跳轉,Facebook 或 Instagram 都統一在同一個 AI 模型中。
當 Llama 3 更新為 Llama 4 以及更高版本時,互動體驗将很快超越與聊天機器人一輪一輪的對話,你給模型一個意圖,它就能處理處理需要長時間思考或執行的任務,這個任務可能需要花費幾個月處理,AI 将在任務完成時向你彙報。
紮克伯格認為,目前基礎模型的研究還在加速,即使基礎模型停止,AI 行業仍有五年的産品創新時間。
提到 Meta 為何堅持開源,紮克伯格表示,這源于 PC 時代微軟 Windows 系統的開放。在以手機為代表的智能移動裝置崛起後,蘋果的閉源生态讓很多紮克伯格想要創造的功能都中道崩殂,為此紮克伯格甚至爆粗。
同時,紮克伯格和黃仁勳達成了共識:開源并非出于純粹的利他主義,而是一種明智的經營政策。Meta 開源其開放計算系統後,成為了行業标準,供應鍊主動對齊 Meta 的設計,這種為行業打造整套生态的經驗,實際為 Meta 節省了數十億美元。
至于人們更傾向選擇性能最強的通用大模型,還是規模較小的專業模型,在這個問題上,紮克伯格和黃仁勳産生了分歧。黃仁勳選擇直接上最高檔的,「英偉達不在乎節省那幾分錢。我們的目标是最高品質的結果。」
紮克伯格心心念念的「元宇宙」,他也沒放棄。Meta 的 AI 和 Llama 項目,以及在增強現實和虛拟現實方面的研發,實際是在建構 Horizon OS—— 一個為混合現實設計的開放作業系統。
他認為下一個計算平台,将分為智能眼鏡和 VR/MR 頭顯。智能眼鏡将成為下一個「手機」,成為下一代智能移動裝置的開端。而 VR、MR 頭顯将成為工作站或遊戲機,承擔更高強度的計算任務。Meta 正在研發他們理想中的全息 AR 眼鏡,這個眼鏡将綜合超級互動式 AI,并擁有時尚的外觀,在日常起到一個造型上的作用。
談話最後,黃仁勳自問自答了一個問題:「生活在整個計算堆棧都在重塑的時代。我們如何看待軟體?」最讓他感到興奮的是 Jensen AI 出現的可能,根據本人複刻一個 AI 智能體,并能在對話中不斷微調。這場對談中,小紮也描述了相同的願景。Meta 正在策劃 Creator AI 和 AI Studio,這種産品将讓每個人都可以根據自己的需求定制個性化的 AI Agent。
視訊加載中...
字幕由AI識别,僅供參考
以下是本次對話的全程文字記錄:
黃仁勳:Mark,歡迎你第一次來 SIGGRAPH!你敢信嗎?這位是計算領域的先驅、引領者之一,我都得請他來 SIGGRAPH,非常感謝你來捧場。
紮克伯格:其實我已經在會場裡轉了五個多小時了。
黃仁勳:這可是 SIGGRAPH,你知道這裡 90% 的人都是 PhD。說到為什麼 SIGGRAPH 如此重要,這是一場有關計算機圖像、圖像處理、人工智能和機器人技術的盛會。多年來,有很多公司都會在這裡讨論、吸收新的研究,從迪士尼、皮克斯、Adobe、Epic Games,當然也包括英偉達。
今年我們在這屆大會上有 20 篇論文入選,主要是人工智能和模拟方向的。AI 可以幫助我們更快模拟出更大規模的實體環境,例如可微實體,我們正在使用模拟方法來為合成資料建立模拟環境。我們為我們所做的感到自豪。
說到 Meta,你們在 AI 領域裡做的事舉世皆知。我覺得有趣的一件事是,看看媒體是如何報道 Meta 最近幾年投身 AI 的情況的 —— 包括 FAIR 做的那些事情。我們都在使用來自 Meta 的 PyTorch。你們在計算機視覺、語言模型、實時翻譯等等方面,做了很多具有開創性的工作。
我的第一個問題是,你如何看待今天生成式 AI 和 Meta 的進步?你如何應用它來增強你們的營運或引入你提供的新功能?
紮克伯格:Meta 大概在 8 年前開始進入 SIGGRAPH 大會,相比英偉達我們屬于新手。
黃仁勳:你們是參與者,這是我的地盤。
紮克伯格:那肯定,歡迎你邀請我來你的地盤(笑)。我記得早在 2018 年,我們就展示了一些早期的手勢追蹤工作,用于我們的 VR 和混合現實頭戴裝置。我想我們已經讨論了很多我們在編解碼器頭像方面取得的進展,我們希望能夠從消費者頭戴裝置中驅動照片級逼真的頭像,我們離這個目标越來越近了。我們對此感到非常興奮。
此外,我們還完成了許多顯示系統工作,一些未來技術的原型和研究,以使混合現實頭戴裝置能夠變得非常薄。我希望有相當先進的光學堆棧和顯示系統,即內建系統。這些是我們通常在這裡首先展示的東西。
今年能來到這裡真是太高興了,我們不僅要讨論元宇宙的東西,還要讨論所有人工智能的東西,就像你說的,我們創辦了人工智能研究中心 FAIR,那時候是 Facebook,現在是 Meta,之後我們創辦了 Reality Labs。我們在這個領域已經做了一段時間。
所有關于生成式 AI 的東西,這可以說是一場有趣的革命,我認為它最終會以一種有趣的方式使我們生産的所有不同産品變得不同。看看我們已經擁有的産品線。比如,資訊流和推薦系統,還有 Instagram 和 Facebook。我們一直處于這樣的旅程中,它從單純的與朋友聯系發展而來,Ranking 始終很重要,因為即使你隻是關注朋友,如果有人做了一些非常重要的事情,比如你的堂兄生了孩子,你肯定希望這樣的資訊被放在最頂端。如果它被埋在你資訊流的某個角落,你會對我們非常生氣。
是以推薦排名很重要,但在過去幾年中,排名已經發展到這樣的地步:排名中的大部分内容隻是不同的公開内容。因為現在來自好友的潛在候選文章不隻有幾百或幾千條,而是數百萬條。這就變成了一個非常有趣的推薦問題。有了生成式人工智能,我覺得我們很快就會進入一個新階段,到那時,你在 Instagram 上看到的内容,将不再隻是那些你關注的人釋出的東西。相反,系統會根據你的興趣,推薦給你那些你可能感興趣的内容,哪怕這些内容的釋出者并不是你關注的人。
我認為,未來許多内容也将通過這些工具來創造。其中一些是創作者使用這些工具來創造全新的内容。還有一些,我認為最終将是為你即時創造的内容,或者通過現有的不同僚物進行彙集與綜合。這隻是一個例子,說明我們正在做的事情的核心部分将會不斷發展,而且它已經發展了 20 年。
黃仁勳:有一些人認為,全世界迄今為止最大的計算系統之一就是推薦系統。
紮克伯格:是的。這是一條完全不同的道路,它并不像人們讨論的東西那樣有關注度。大家都在讨論 transformer 架構,讨論的都是類似的東西,隻是在建構越來越通用的模型。
黃仁勳:将非結構化資料嵌入到特征中。
紮克伯格:是的,推動品質改進的一大因素是:過去你會為每種類型的内容使用不同的模型。最近的一個例子是,比如我們有一個模型用于對短視訊進行排名和推薦,另一個模型用于對更長的視訊進行排名和推薦,然後進行一些産品工作,基本上使系統可以顯示任何内容。但是,你建立的可以涵蓋所有内容的通用推薦模型越多,它就會變得越好。
我的意思是,這背後的一部分邏輯其實與經濟學原理相似,即内容的流通性和可擷取性。當你能夠從更廣闊的資源庫中汲取内容時,就不會再遇到在不同内容源之間轉換時出現的那些令人困惑的效率問題。随着模型變得越來越大、越來越通用,它會變得越來越好。我夢想有一天,你可以想象整個 Facebook 或 Instagram 都像一個 AI 模型,将所有不同的内容類型和系統統一在一起,這些内容類型和系統實際上在不同的時間範圍内有不同的目标。因為其中一些隻是向你展示,比如你今天想看哪些有趣的内容。但還有一些内容是在幫助你建構你的長期社交網絡,對吧?比如你可能認識的人或者你可能想要關注的賬戶。
黃仁勳:這些多模态模型往往更擅長識别模式和弱信号等。是以人們總是會說,人工智能在 Meta 如此深入,這很有趣。你們一直在建構 GPU 基礎設施,運作這些大型推薦系統。
紮克伯格:其實我們應用 GPU 的速度在業界來看有點慢。
黃仁勳:你是我請來的嘉賓,我隻是想努力表現得友善一些。
紮克伯格:是的,太友善了(笑)。剛才在背景的時候,你還在說要承認錯誤什麼的。
黃仁勳:你不必突然主動說出來。
紮克伯格:我認為我們已經嘗試過了。很快就取得了突破。
黃仁勳:你們是不鳴則已,一鳴驚人。現在,生成式 AI 最酷的地方在于,當我使用 WhatsApp 時,我感覺自己正在與 WhatsApp 合作。我喜歡想象自己是專業打字員,它會在我打字時生成圖像。如果我回去改寫我的單詞。它會生成其他圖像。比如「中國老人在日落時分和三隻狗一起享受一杯威士忌,分别是金毛獵犬、金毛貴賓犬和伯恩山犬。」AI 會生成一張非常漂亮的照片。
紮克伯格:過去一周我花了很多時間和我的女兒們在一起,把她們想象成美人魚之類的。這很有趣。是的,這是生成式 AI 的一方面。很多新一代人工智能的東西,我認為它将是我們長期以來擁有的所有工作流程和産品的重大更新。另一方面,我們可以創造出很多全新的東西。
在 Meta,我們希望提供一個可以幫你完成不同任務的 AI 助手,在我們的世界中,它将非常具有創造性,就像你說的。但它也是通用的。随着時間的推移,它将能夠回答任何問題。
我認為,當我們從 Llama 3 标準模型轉向 Llama 4 及更高版本時,我認為它不會再像聊天機器人 —— 你給它一個提示,它就會回應,一輪一輪互動對話。我認為它會很快進化,隻要你給它一個意圖,它能夠去執行多個時間架構的任務(可以處理需要長時間思考或執行的任務,而不僅僅是即時響應)。
如果我所想的一些事情最終能夠實作,它将啟動需要大量計算資源的任務,這些任務可能需要幾周、幾個月甚至更長時間來完成。然後它會在某個時刻回來向你報告結果,就像世界上發生了某件事情一樣。我認為這将是非常強大的。
黃仁勳:當今的人工智能是回合制的。你說了什麼,它就會給你回複。但顯然,當我們思考時,當我們被賦予任務或問題時,我們會考慮多種選擇,或者我們會想出一個選項樹,一個決策樹,在腦海中模拟可能做出的每個決定的不同結果。是以說我們在做規劃。在未來,AI 也會做同樣的事情。
當你談到 Creator AI 的願景時,我感到非常興奮。坦率地說,我認為這是一個炸裂的想法。能不能向大家詳細介紹一下 Creator AI 和 AI Studio。
紮克伯格:我認為不會隻有一個人工智能模型。這正是業内其他一些公司正在做的事情,他們正在建立單個的中央智能體。
當然,你将獲得一種 Meta AI 助手。但我們的願景是讓所有使用我們産品的人都能為自己建立智能體。無論是平台上的數百萬創作者,還是數億小企業,我們最終都希望能夠收集所有内容,并快速建立一個業務智能體,讓它能夠與你的客戶互動,進行銷售和客戶支援等。是以,我們現在開始推出的一款産品是 AI Studio,它是一套最終會讓這個設想運轉起來的工具。每個創作者都可以建構自己的 AI 版本,可以與之互動的智能體或助手。
它解決的是一個根本問題,就是每個人的時間都不夠用。如果你是一個創作者,你想更多地與你的社群互動,但你的時間有限。同樣,你的社群也想與你互動。是以未來最好的辦法就是讓人們隻負責創造。它有點像一個智能體,但它是根據你的材料來訓練的,以你希望的方式代表你。我認為這是一種非常有創意的努力,就像你創作并釋出在社交媒體上的藝術作品或内容一樣。需要明确的是,這不是與創作者本人直接互動,而是通過智能體來進行。但我認為這将是另一種有趣的方式,就像創作者在這些社交系統上釋出内容一樣,能夠通過這些智能體來進行互動。
同樣,我認為未來人們會建立自己的智能體,用于各種不同的用途。有些是他們想要完成的定制實用功能,他們希望對智能體進行微調和訓練。有些是娛樂。人們創造的一些東西很有趣,有些很傻,或者對某些事情有種有趣的态度,我們可能無法、可能不會将其作為助手建構到 Meta AI 中,但看起來人們非常有興趣看到它們并與之互動。
一個有趣的用例是人們使用這些智能體來提供支援。有一件事讓我有點驚訝,那就是 Meta AI 的主要用例之一是,人們讓它來扮演他們将要遇到的困難社交場合。比如我想問我的經理,我如何獲得晉升或加薪?或者我和我的朋友吵架了,或者我和我的女朋友遇到了困難的情況,這場談話該怎麼進行?
這是一個完全無法預知的區域,你可以在其中進行角色扮演,看看談話将如何進行,并獲得回報。但我認為,很多人不想隻與同一種智能體互動,無論是 Meta AI 還是 ChatGPT,或者人們在使用的其他任何東西,他們想創造自己的東西。是以這就是 AI Studio 的大緻目标。但我想,這隻是我們更大願景的一部分,我們認為不應該隻存在一種人們與之互動的大型 AI。如果存在多樣性,世界将會變得更美好、更有趣。
黃仁勳:我覺得這真的很酷。如果你是一位藝術家,并且擁有自己獨特的風格,你可以利用你的風格和你所有的作品來微調一個 AI 模型。這樣,這個模型就能根據你的風格來創作。你可以來使用這個 AI,向它發出指令。比如,你可以要求它根據我所擁有的藝術風格來創作一些東西。你甚至可以給我一幅畫作或者草圖作為靈感,我可以基于這些為你生成新的藝術作品。你可以來找我的 AI 機器人,或者直接使用我的 AI 來進行這樣的創作。
在未來,可能每一個餐廳、每一個網站都會擁有這樣的 AI,它們能夠根據使用者的需求和喜好提供個性化的服務和内容。
紮克伯格:是的,我認為在未來,就像每個企業都有一個電子郵件位址、一個網站、一個或幾個社交媒體賬戶一樣,在未來,每個企業都會有一個與客戶互動的人工智能智能體。
在過去,有些事情是很難做到的。比如,如果你觀察任何一家公司,你可能會發現客戶支援部門與銷售部門是分開的,而這并不是你作為 CEO 所希望的。隻是「好吧,它們是不同的工種」。
當你是 CEO 時,你必須做所有的事情。當你将抽象概念融入組織時,一般來說,組織是分開的,因為它們針對不同的事情進行了優化。但我認為柏拉圖式的理想是,應該面向客戶去建構。你知道,當你試圖購買某物時,你不想面前出現不同的購買方法,如果你在購買某物時遇到問題,你隻希望有一個可以去回答問題的地方,并能夠以不同的方式與企業互動。我認為這也适用于創作者。
黃仁勳:這種與客戶的互動,尤其是處理他們的投訴,将使你的公司變得更好。事實上,與人工智能的這種互動将捕捉到公司的機構知識以及如何處理問題,所有這些都可以用于分析,進而改進人工智能,如此循環往複。
紮克伯格:是以,從商業角度來看,我認為這需要更多的整合,我們仍處于早期階段。但 AI Studio 可以讓人們建立自己的 UGC 智能體和其他東西,并開始啟動這個由創作者建立智能體的飛輪效應。我對此感到非常興奮。
黃仁勳:我可以使用 AI Studio,用我的圖像集對模型進行微調嗎?
紮克伯格:當然可以,我們會提供這種能力。
黃仁勳:好的。然後我可以把我寫的所有東西都加載到 AI Studio 上,這樣它就可以作為我的複制體了?
紮克伯格:當然。
黃仁勳:然後每次我回到它的時候,它都會再次加載内容。是以它會記得上次停在哪裡。我們繼續我們的談話,就像什麼都沒發生過一樣?
紮克伯格:是的,就像任何産品一樣,随着時間的推移,它會變得更好。訓練工具也會變得更好。這不僅僅關乎你想讓它說什麼。我認為一般來說,創作者和企業都有工作的優先級。是以在所有這些方面都會變得更好。
我認為柏拉圖版本的 AI 不僅僅是文字,而是包括你能想象到的每一點,這與我們長期以來一直在做的 Avatar 工作有些交集。你希望能夠與智能體進行視訊聊天,我認為我們會随着時間的推移實作這一點。
我不認為這些東西離我們還有那麼遠,技術的飛輪旋轉得非常快。是以,這很令人興奮,有很多新東西需要建造。我認為,即使基礎模型的進展現在停止了(我認為不會停止),我們也會有五年的産品創新時間,讓行業從頭弄清楚如何最有效地利用迄今為止建造的所有東西。但實際上,我認為基礎模型和基礎研究的進展正在加速,這是一個相當瘋狂的時代。
我得說,是你讓這些變成了可能。
黃仁勳:謝謝!你知道,我們是 CEO,我們是嬌嫩的花朵,需要更多的鼓勵。
紮克伯格:到這個時候,我們已經相當老練了。我想我們倆是這個行業裡堅持得最久的兩位創始人,對吧?
黃仁勳:是的。
紮克伯格:你看你的頭發已經花白,我的隻是在長長。
黃仁勳:是啊,我的頭發變白了,你的頭發變卷了。怎麼回事?
紮克伯格:一直都這麼卷,我隻是經常打理。
黃仁勳:如果我當初知道成功之路這麼漫長……
紮克伯格:那你可能當初根本就不會走這條路。
黃仁勳:不,我可能會像你一樣,提前離開大學。
紮克伯格:不過我們之間的性格差異很大。
黃仁勳:你事業起步提前了 12 年,這進度快多了。(譯注:黃仁勳 1984 年在俄勒岡州立大學大學畢業後,曾在 AMD 等公司工作;紮克伯格在哈佛大學讀大學時創辦了 Facebook,随即肄業)
紮克伯格:但你做到的事情很棒。
黃仁勳:好吧,過去的事就讓它過去吧。是以,我喜歡你的願景,即每個人都可以擁有一個人工智能,每個企業都可以擁有一個人工智能。在英偉達,我希望每個工程師和每個軟體開發人員都擁有一個人工智能,而且有很多人工智能。
我喜歡你的願景的一點是,你還相信每個人和每家公司都應該能夠制造自己的人工智能。是以你實際上是開源的。當你開源 Llama 時,我認為這很棒。順便說一句,我認為 Llama 2 可能是去年人工智能領域最大的事件。
紮克伯格:我覺得(最大的事)是 H100 啊。
黃仁勳:這是一個先有雞還是先有蛋的問題。
之是以說 Llama2 是最大事件,是因為當它出現時,它激活了每家企業和每個行業。突然之間,每家醫療保健公司都在開發人工智能。每家大公司、小公司、初創公司都在開發人工智能。這使得每個研究人員都能夠重新參與人工智能,因為他們有一個可以做某事的起點。
現在 Llama 3.1 已經釋出,大家興奮不已,你知道嗎,我們一起努力部署 Llama 3.1。我們正在将其推向全球企業,這令人興奮不已。我認為它将支援各種應用程式。
談談你的開源理念吧。你開源了 PyTorch、Llama 3.1 以及 Llama 系列,你已經建立了一個完整的開源生态系統,但你一開始是怎麼想的?
紮克伯格:在開源方面,Meta 的起步算比較「落後」吧。Meta 開始建構分布式計算基礎設施和資料中心時,已經有其他科技公司有所布局了,是以在當時,這不能算是 Meta 的競争優勢。于是不妨直接開源了,然後 Meta 從圍繞它的生态系統中受益,其中最大的項目應該是開放計算,Meta 公開了伺服器設計、網絡設計,連最終的資料中心設計都公開了。這些設計成為行業标準後,所有的供應鍊基本上都按 Meta 的标準來,是以,實際上開源為 Meta 節省了數十億美元。
黃仁勳:開放計算也使得 Nvidia HGX 系統能和每個資料中心适配。
紮克伯格:感謝英偉達帶來的美妙體驗。在開放計算嘗到甜頭之後,我們在基礎工具類,例如 PyTorch,也采取了類似的開源政策。是以,當 Llama 項目啟動時,Meta 在 AI 模型開發方面自然傾向于主動開源。
對于 Meta 的開源,還要從以下幾個角度來看待。首先,Meta 的産品不得不面對這樣一個事實:我們通過競争對手的移動平台來分發自己的應用程式。在智能手機作業系統的競争中,蘋果以其封閉的生态系統占據了市場的主導地位,遊戲規則都是蘋果說了算。雖然從數量上看,Android 手機更多,但蘋果基本控制了整個市場和所有利潤,Android 其實是在追随蘋果。然而,回顧 PC 時代,雖然微軟顯然不是一個完全開放的公司,但與蘋果相比,Windows 系統可以在所有 OEM、所有不同的軟體、硬體上運作,是一個更加開放的生态系統。Windows 是領先的生态系統。在 PC 時代,開放的生态系統才是主導。
是以,我希望在下一代計算中,開放的生态系統能獲勝,再次回歸,成為主導潮流。
不過,我相信開源和閉源兩種模式各有其優勢。我并不是非常狂熱的開源主義者,也并非所有 Meta 的産品都開源。然而,對于整個行業共同建構的計算平台,開源無疑意義非凡。Meta 的 AI 和 Llama 項目,以及在增強現實和虛拟現實方面的研發,實際是在建構 Horizon OS—— 一個為混合現實設計的開放作業系統,就像 Android 或 Windows 一樣,它能夠支援各種硬體廠家,生産各種各樣的裝置。我們隻是想将生态系統恢複到這種開放水準。
我堅信開源終将獲勝。雖然這話有點自私,但是在經曆太多次想要建構某某功能,卻被平台的 fxcking 限制掣肘之後,我隻想在未來的 10-15 年内,確定底層技術能夠把握在自己手裡。
黃仁勳:考慮一下我們的節目還要播出啊......
紮克伯格:不好意思,一談到蘋果閉源這個話題,我就怒了,後期幫我「哔」一下吧。
黃仁勳:無論如何,開源确實是一項偉大的事業。世界上最傑出的人才緻力于打造最好的人工智能系統,并将其作為服務無私地提供給全世界。同時,如果你想要建構自己的人工智能,開源也賦予了你這樣的能力。就像我不會自己做我身上這件皮衣,而是買别人做的成品。這種服務的價值不可估量。特别是你們的 Llama 3.1 版本,你們推出了 405b、70b、8b 不同規模的模型,可以用更大的模型來提升小模型。并且你們還設定了 Llama Guard 用作模型的護欄。是以,現在 Meta 構模組化型的方式完全透明,確定了每個使用者都能夠清晰地了解如何正确地使用模型,我非常欣賞這一點。
扯遠了,我們之是以呼籲開源,是因為它必須存在,來擺脫某些封閉模型的限制。但開源軟體的建設并非一人或一家公司之力所能及,它依賴于一個完整的生态系統,這本質上就需要開放和協作。如果它不開源,可能根本無法有效運作,不是嗎?我們選擇開源,并非出于純粹的利他主義,而是開源将助力自己的産品擁有強大的生态系統而變得更加出色。看看大家對 Pytorch 生态系統的貢獻,就足以證明這一點。比如 Nvidia,就有數百名專業人員全心投入,緻力于讓 Pytorch 不斷進步,變得更強大、更可擴充、更高效。
紮克伯格:當你成為行業标準時,自然而然地,行業裡的其他人将按你的标準工作,開源是一個非常好的商業政策,但我認為有些人實在是沒想明白。不過,英偉達每次都能跟上最新釋出的 AI 模型,提供專業的支援和優化。
黃仁勳:沒錯,我是一個特别樂于提供支援的人。雖然我已經老了,但反應還算靈活,這是一個 CEO 的必備素養。我真心地覺得 Llama 系列至關重要。英偉達提出了一個名為「AI 工廠」的概念。很多公司有應用 AI 的需求,但是他們不懂如何把公司的業務和資料「喂」給 AI,于是英偉達提供工具與專業知識,依托 Llama 技術,幫助他們實作這一目标。這就是 NIM(Nvidia Inference Microservices)雲原生微服務,NIM 可将模型作為優化的「容器」,這些容器可部署在本地、雲端、資料中心或工作站上,開發人員可以在任何地方随時打開随心使用。英偉達打造了一個包括 OEM 以及埃森哲這樣的全球系統內建商(GSI)在内的合作夥伴系統,他們可以運作 NIM 并建立基于 Llama 的工作流。這個激動人心的項目能成型,都得益于 Llama 的開源。
紮克伯格:是的,我認為幫助人們從大模型中提煉出他們所需的專有模型,将是真正有價值的新事物。但我不認為會有一個通用的 AI 智能體出現。
黃仁勳:我同意你的觀點,我也不認為會有一個能解決所有問題的 AI 模型。比如英偉達有一個專用于晶片設計的 AI、還有能了解 USD 的軟體編碼 AI、還有會寫 Verilog 的 AI...... 每個專用的 AI 都是在 Llama 基礎上微調出來的。我相信未來每個公司都将擁有定制化的專用模型。
紮克伯格:未來還将面臨一個大問題:人們是會選擇更大、更複雜的通用模型?還是傾向于訓練定制化的專有模型?我打賭是後者,大量不同的模型将迅速湧現。
黃仁勳:但是英偉達選擇了大的通用模型。因為工程師的時間太寶貴了。目前我們正在對 4-5 百億參數的模型進行性能優化。衆所周知,這麼大的模型無法适配任何單一的 GPU。這也正是 NV Link 高性能連接配接的重要性所在。英偉達的每個 GPU 都通過 NV Link Switch 互相連接配接。例如,在 HGF 架構中,就有兩個這樣的交換機,它們使得所有 GPU 能夠協同工作,實作真正的高性能。之是以選擇最大、性能最優的模型,還是因為工程師的時間極其寶貴,即便這會增加一些成本,但我們不在乎節省那幾分錢。我們的目标是確定為工程師提供最高品質的結果。
紮克伯格:這個級别參數量的 Llama 模型的運作成本,大約是 GPT-4o 的一半。是以在這個層面上,你們的決定還挺好的。但我想說的是,人們需要蒸餾出能夠在某些裝置上運作的較小的模型,這是另一套模式。
黃仁勳:讓我來算一筆賬,英偉達雇一個專門負責設計晶片的 AI 時薪 10 美元,但是它可以共享,相當于給每個工程師配備一個助手。這個成本,并不算很高,而我們給工程師的工資那可是相當高,而 AI 可以做到每小時隻花幾美元就增加一個「超能力員工」。
紮克伯格:老黃,您沒有必要非得說服我。
黃仁勳:如果你還沒雇 AI,那還不趕緊去!我們換個話題聊,讓我們談談下一個浪潮。我們内部經常用你們「分割一切」的模型。訓練視訊模型,進而增進我們對實體世界的了解,增進機器人與工業場景的應用,這也是英偉達正在積極推進的領域。能不能分享更多 Meta 在計算機視覺方面的想法,比如 Ray-Ban Meta 智能眼鏡等等。
紮克伯格:說到這裡,我有太多存貨等着「上新」了。就在 SIGGRAPH 現場,我們即将釋出 Segment Anything Model 2 (SAM 2) 。這回視訊内容也能被分割了,視訊裡正在分割的好像是我在夏威夷的牧場裡養的牛。
黃仁勳:順便提一嘴,它們的名字叫「小紮的美味牛」(delicious Mark’s cows)。之前你來我家,咱倆煎過菲力牛排。下次再來的時候,你就帶上你這張圖裡分割出來的牛。
紮克伯格:我是一個超棒的副主廚。
黃仁勳:這個評價是誰給你評的?
紮克伯格:我去你家做客,到午夜了。你說:「你吃飽了吧?」我回答:「不知道啊,我大概還能再吃點吧。」你震驚了,來了句:「真的嗎?」
黃仁勳:小紮,你不會不知道吧?一般情況下,别人問你吃飽沒,一般人都會捧着肚子說:「我吃飽了。」
紮克伯格:(我可不和你客氣)我會說:「再給我做一整個芝士蛋糕!老黃!」
黃仁勳:讓我給大家展示一下馬克・紮克伯格的「強迫症」有多嚴重。是以我正在準備芝士蛋糕,我說:「小紮,切一下蕃茄。」接着,我把刀遞給了小紮。
紮克伯格:我是一個很強的刀具能力者。
黃仁勳:他切蕃茄每一個都完美地精确到毫米。我原本以為所有的蕃茄都會被切成片。但當我轉過身時,他說他需要另一個盤子。原因是他切的所有蕃茄,一旦他把一片蕃茄和另一個蕃茄分開,他就要把一片放在另一個盤子裡,再也不讓蕃茄接觸彼此了。
紮克伯格:如果你想讓切好的蕃茄互相接觸,你就提需求呀!我是一個大廚好吧。
黃仁勳:這就是他造出來一個不會評價别人的 AI 的原因!
紮克伯格:(無語)
黃仁勳:SAM2 的效果還真酷,它能識别牛走動的軌迹。
紮克伯格:這将制作出很多有趣的效果,對于科學也将有所助益。科學家們可以使用它來研究珊瑚礁、自然栖息地以及景觀的演變等等。
黃仁勳:我再舉一個用例。例如你有一間倉庫,裡面有很多攝像頭,AI 正在監視倉庫裡的一切。假如發生如貨箱堆垛倒塌或地面灑水等意外情況,無論是什麼事故,AI 都能迅速識别并做出反應,自動生成描述事件的文本,并立即派遣人員前往處理。一個能夠了解視訊内容的模型擁有廣闊的應用空間。你們在 Ray-Ban Meta 智能眼鏡之外還在做什麼工作呢?
紮克伯格:還是智能眼鏡。對于下一個計算平台,我們把它分為混合現實、頭顯和智能眼鏡。如今所有佩戴眼鏡的人最終都可能将眼鏡更新為智能眼鏡。世界上有超過十億人,是以這個市場潛力巨大。對于 VR、MR 頭顯,有些人可能認識到了它在遊戲界的應用,但有些人還不以為然。我的看法是,這些智能裝置将并存。智能眼鏡将成為下一個「手機」,成為下一代智能移動裝置的開端。而 VR、MR 頭顯将成為工作站或遊戲機,它們将承擔更高強度的計算任務,畢竟眼鏡容量有限,無法搭載和手機相同級别的算力。
黃仁勳:這些正好發生在生成式人工智能爆發之際。
紮克伯格:是以,從根本上來講,我們從兩個不同的方向來解決智能眼鏡的問題。
一方面,我們一直在建構我們認為理想的全息 AR 眼鏡所需的技術,包括開發定制晶片、定制顯示技術棧等等。這是一副眼鏡對吧?不是耳機,也不是 VR/MR 那樣的頭顯。它們看起來像眼鏡,但和你現在戴的眼鏡還是有很大差距。我的意思是,你日常戴的眼鏡非常薄。但即使是我們與雷朋聯名打造的眼鏡,你也無法将所有的技術融入其中,以實作全息 AR,盡管我們正在接近這一點。未來幾年,我認為我們會越來越接近。這種眼鏡仍然會相當昂貴,但我認為,它将開始成為一種産品。
我們的另一個方向是與世界上最好的眼鏡制造商 Essilor Luxottica(依視路)合作,從好看的眼鏡開始。他們旗下幾乎擁有所有你接觸過的大品牌眼鏡,包括雷朋、奧克利等等。
黃仁勳:眼鏡界的英偉達。
紮克伯格:我想,他們可能會喜歡這個比喻。此時此刻,誰不喜歡被這麼稱呼呢?我們正在和他們合作開發第二代産品。我們的目标是把産品外形做得很棒。在此基礎上,我們将盡可能多的技術融入其中。雖然我們無法在技術上達到理想的效果,但最終,它一定會像一副漂亮的眼鏡。
在這個眼鏡上,我們配備了攝像頭傳感器,你可以拍攝照片和視訊、在 Instagram 上直播。你可以在 WhatsApp 上進行視訊通話,并将你看到的内容傳輸給對方。它還有麥克風和揚聲器。揚聲器真的很不錯,它是開放式的,是以很多人都覺得它比耳塞更舒服。你可以聽音樂,這是一種私享體驗。人們喜歡這個設計,經常用它打電話。
但我們後來發現,傳感器套裝其實正是你與 AI 對話所需要的。這也算是個意外。如果你五年前問我,我們會不會在人工智能之前實作全息 AR,我會說,是的,很有可能,對吧?因為全息 AR 看上去隻需要圖形和顯示技術的進步,包括一些虛拟、混合顯示的技術,而我們當時正在這些方向上不斷取得進展。
但突然,LLM 方向爆發了。結果就是,我們現在已經有了高品質的 AI,并且在全息 AR 出現之前,它一直在快速發展。這種反轉是我始料未及的。不過幸運的是,我們已經做好了準備,因為我們正在開發所有這些不同的産品。
但我認為,你最終會看到一系列不同價位、不同技術水準的眼鏡産品。基于我們從 Ray-Ban Meta 眼鏡産品中看到的資料,我認為價格在 300 美元左右的 AI 眼鏡将是一個暢銷品,最終會有數千萬或數億人擁有這樣的眼鏡。
黃仁勳:(戴上這個眼鏡),會有超級互動式 AI 跟你對話?你剛才展示了你們的視覺語言了解能力,你們還有實時翻譯的能力,你可以用一種語言跟我說話,而我聽到的是另一種語言?
紮克伯格:顯示屏顯然也會很棒,但這會增加眼鏡的重量,也會讓眼鏡變得更貴。我覺得會有很多人想要全息顯示屏,但也會有很多人想要非常薄的眼鏡。
黃仁勳:對于一些工業和工作場景來說,我們确實需要這種眼鏡。
紮克伯格:(除此之外)也要考慮消費端産品。我之前遠端辦公的時候經常想這個問題,大家在 Zoom 上花了那麼多時間。未來,我們距離虛拟會議也沒多少年了,到時候可能就是我的全息圖在跟你對話。我認為在其中加入 AI 非常重要。
黃仁勳:接受這樣一個裝置成為日常生活的一部分需要點耐心。
紮克伯格:但我覺得我們會走到這一步的。我是說,眼鏡的鏡框有薄有厚,還有各種款式。我想我們還需要一段時間才能擁有像你的眼鏡一樣(薄)的全息眼鏡。但我認為在一副時尚的厚框眼鏡中使用全息技術并不遙遠。
我也在嘗試成為一名時尚網紅達人,這樣我就可以在眼鏡上市之前帶火它。
黃仁勳:我看到你在嘗試。效果怎麼樣?
紮克伯格:還在早期(雙方大笑)。我覺得,如果我們未來的主要業務是制造人們佩戴的時尚眼鏡,那我就應該開始多關注這件事。
黃仁勳:沒錯,我同意。
紮克伯格:我們得讓那個「每天都一成不變」的我退休了。我的意思是,眼鏡和手表或手機不一樣,大家不想看起來都一樣。是以我認為,它将成為一個平台,一個開放的生态系統,因為人們的外形和風格需求将是非常多樣的。
黃仁勳:沒錯。Mark,令人難以置信的是,我們正生活在一個整個計算堆棧都在重塑的時代。我們如何看待軟體?你知道,Andrej Karpathy 提到過軟體 1.0 和軟體 2.0 的概念,我們現在基本上處于軟體 3.0 時代。
現在,我們的計算方式已經從通用計算轉變為生成式神經網絡處理計算方式,我們所能開發的能力和應用是過去無法想象的。這種技術,即生成式人工智能,我不記得還有哪種技術能以如此快的速度影響消費者、企業和科學界。它能夠跨越所有不同的科學領域,從氣候到生物,再到實體科學。在我們遇到的每一個領域,生成式人工智能都處于根本性轉變的核心。
除此之外,就像你所說的那樣,人工智能将對社會産生深遠的影響。其中一件事讓我超級興奮,之前有人問我,會不會出現 Jensen AI(黃仁勳 AI)?這正是你說的創造性 AI,我們可以建構自己的 AI。我把自己寫的東西都上傳進去,然後用我回答問題的方式對它進行微調。希望随着時間的推移以及使用的累積,它能成為一個真正偉大的助手,成為很多人的夥伴。你可以問它問題,它會生成新的想法回報給你。就像你所說的,它将是一個不帶有評判性的 Jensen 版本,你不必害怕被評頭論足。你可以随時來與它互動。我覺得這些東西真的很不可思議。
而且,我們一直在寫很多東西。隻要給它三四個主題,告訴它這就是我想寫的主題,用我的聲音去寫。這多不可思議啊。現在我們可以做的事情太多了。和你一起工作是一種很棒的體驗。我知道建立一家公司并不容易,你要把你公司的産品從 PC 轉向移動裝置、VR、人工智能等所有這些平台。你們做的這些真的很不尋常,英偉達也多次經曆這種轉變,我很清楚這個過程有多難。這些年來,我們倆都遇到了不少挫折,但這就是開拓和創新所需要的。是以看着你一路走來,真的很棒。
紮克伯格:well,謝謝(感動)。
如果你繼續做之前的事情,你就無法确定那是不是一個轉折點。看着你們走過的曆程,我也覺得非常有趣。而且你們經曆了這樣一個時期,當時每個人都在說,不,一切都會轉移到這些裝置上,而且計算能力将變得非常便宜。而你們卻一直在堅持,認為大家會需要這些可以并行的大型系統來進行大規模計算。
黃仁勳:我們走了另一條路。現在我們不是在制造越來越小的裝置,我們制造的是大型計算機。
紮克伯格:這不太時髦。
黃仁勳:這在當時很不時髦,但現在看起來很酷。我們開始制造顯示卡 ——GPU。現在,你們口中所說的 H100,小紮的資料中心有 60 萬個。
紮克伯格:我們是你們的優質客戶(笑)。
黃仁勳:你們建構的這些系統是巨型系統,難以協調,難以運作。你說過你進入 GPU 之旅的時間比大多數人都要晚,但你的運作規模卻比任何人都要大。這令人難以置信。祝賀你所做的一切。你也是個時尚 icon。
紮克伯格:(我的這項事業)還在早期階段。
黃仁勳:上次和 Mark 吃過晚餐之後,我們互換了夾克,那張照片在網上被瘋傳。我覺得他穿我的夾克沒問題,但照片中那個人真的是我嗎?
紮克伯格:應該是。
紮克伯格:其實這次我給你做了一件。
我帶了一個盒子過來,(Mark 拿出新皮衣,黃仁勳脫掉夾克準備試穿),這是黑色的、皮的,而且是皮毛一體。其實,這不是我做的,我剛在網上訂購的。
黃仁勳:等等,我試一下。
我穿上了。
紮克伯格:哇,給這家夥拿條項鍊。下次見你的時候,我給你帶條金鍊子。
黃仁勳:公平起見,我也給你一件。(黃仁勳拿起剛剛脫掉的夾克)這是 Lori(黃仁勳的妻子)剛剛給我買的新夾克,為了參加 SIGGRAPH 專門買的。因為 SIGGRAPH 對于英偉達來說是個重要場合,RTX 就是在這裡釋出的。是以這是一件全新的夾克,我們可以互換。這件是你的了(黃仁勳把夾克拿給 Mark)。
紮克伯格:這件更值錢,因為這是(黃仁勳)穿過的。
黃仁勳:讓我們看看,Mark 看起來很健壯。
紮克伯格:你也是。
黃仁勳:感謝各位,祝大家 SIGGRAPH 過得愉快。
參考内容:https://www.youtube.com/live/H0WxJ7caZQU