天天看點

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

AI(人工智能)晶片龍頭英偉達CEO黃仁勳在英偉達GPU技術大會(GTC)上打開了話匣子。

當地時間3月19日,在座無虛席的英偉達GTC大會主題演講結束後的第二天,黃仁勳參加全球媒體采訪,回答了來自二十幾家媒體的采通路題。

這些問題豐富多樣,從英偉達的公司發展前景,到AI、雲計算、機器人乃至量子計算機的未來,再到國際形勢和全球供應鍊情況,各種問題都被投向了最近因其名聲與熱度而獲得“科技界泰勒·斯威夫特”稱号的黃仁勳。

在采訪中,黃仁勳深入淺出地介紹了公司旗下幾項核心技術的原理,并再三強調,英偉達并不隻賣晶片,而是瞄準了潛力巨大的資料中心市場,希望能做到“無處不在”;由于供應鍊的龐大和産品的複雜程度,英偉達的晶片由來自全球各地的零部件組成,也在努力增強供應鍊的韌性;另外,AI的重大貢獻之一在于彌合技術鴻溝,能夠讓任何人都像和人交談一樣指揮軟體。

黃仁勳面對記者講話和接受媒體采訪的全文如下,由澎湃新聞記者翻譯和整理:

黃仁勳:歡迎來到GTC。來自世界各地的媒體,很高興見到你們所有人。

我(在開幕演講上)談到了五個主題。首先,我們的行業正在同時經曆兩場轉型。第一場轉型是關于計算機的制造方式,以及計算機從通用計算轉向加速計算的建構方式。第二個轉型是它能做什麼。也就是說,第一場是加速計算,第二場是它能做的事情,我們稱之為生成式AI。由于生成式AI,出現了一種新型的工具,這種新工具就是AI生成器。有些人稱之為資料中心,但如你所知,資料中心被很多人使用。它能夠存儲大量檔案,并運作許多應用程式。你可以用它做很多不同的事情。但在生成式AI的情況下,它隻做一件事。

它(生成式AI)為一個人,或公司,處理一件事,并生産AI,即生産令牌(token)。作為一種革命性的AI,當你與ChatGPT互動時,它正在生成代币,生成浮點數(floating point numbers),而這些浮點數能變成文字、圖像或聲音。蛋白質、化學物質、計算機動畫和機器人,它們對機器來說與說話沒有差別。如果計算機可以說話,為什麼不能使機器動起來呢?是以,這些能力,這些代币生成器是一個全新的類别,一個新的行業。這就是為什麼我們說正在發生一場工業革命,因為它是新的。這個新行業創造了這些(伺服器)房間、這些建築,我稱它們為AI工廠,因為這是最合理的。

在上一次工業革命中,流入工廠的原材料是水。出來的是一種看不見的東西,稱為電。現在,我們有了這種流入工廠的原材料,也就是資料,而從中産生的是資料令牌(data tokens)。這種令牌同樣是看不見的,它可以被分發到全世界,非常有價值。在過去,資料中心被算入你公司的成本,被視為營運費用,進入資本支出,你認為它是一項成本。然而,工廠是能夠賺錢的。是以,這個新世界擁有新的生成式AI、新的工廠,也就是AI工廠,是一個新的工業革命。大家能了解嗎?好的,這就是正在發生的第一件事。

這場轉型是英偉達引領的加速計算,然後是第二個,生成式AI。在這個新世界裡,軟體極其複雜。ChatGTP的實作絕非易事,它是有史以來最偉大的科學突破之一,這款軟體非常龐大,并且還在不斷擴大,原因是如今你想讓它學習的東西太多了。它從文字和圖檔中學習,它還将從視訊中學習。它将學習強化學習,學習合成資料生成。它将通過互相對話進行強化學習,就像AlphaGo那樣,通過互相辯論來學習。它将以許多不同的方式進行學習。是以,這些模型将随着時間變得越來越複雜。

我們為這個未來創造了全新一代的計算工具,這個未來模型擁有萬億參數。我們稱之為Blackwell。Blackwell在幾個方面是革命性的。首先,它的設計非常高效能和節能。我在演講中展示了一個例子,訓練相同規格的1.8萬億參數GPT将在90天内完成,不需要15兆瓦,而是僅需4兆瓦——你節省了11兆瓦。是以,我們極大地降低了工作的能耗。能效是工作量除以輸入,而工作量是對模型的訓練模型。在90天内,輸入量為4兆瓦,節省了大量能源,當然也節省了大量金錢。這是第一個突破。

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

英偉達最新Blackwell GPU。來源:英偉達官網

第二個突破是在于生成,人們首次開始考慮AI不僅僅用于推理。例如,這是一張貓的圖檔,顯示了對貓的預測推理。而在推理之外,雖然依然屬于推理範疇,但有一個深刻的不同,那就是生成的出現。它在推理,但同時也在生成,不僅是識别,而是生成,不僅是了解,而且是生成AI。Blackwell被設計為一台生成型計算機,這是資料中心首次以這種方式了解我們的GPU。

現在,如果你是一個遊戲玩家,你一直認為英偉達的GPU是一種生成型計算機。不是嗎?因為你看到的所有圖像都是由英偉達的GPU生成的,但在未來,從圖像、視訊、文本到蛋白質、化學物質、運動控制——它們都将被生成,并且都将由GPU生成。這實際上挺有趣的,幾乎是《回到未來》。我們的GPU從生成處理器和計算機圖形生成,變成了AI學習處理器、AI推理處理器,現在又回到了開始的AI生成處理器。在未來,我們幾乎所有的計算體驗都将主要是生成的。今天不是這樣,這就是為什麼這個機會如此巨大的原因。

當你在做計算時問問自己,當你在手機上操作時,那個檔案,那些資訊都是預先錄制的。有人提前寫下它,有人提前拍下照片,有人提前錄制視訊,一切都是預先錄制的。在未來,它将由那種預錄内容增強,但為你生成獨特的方式,這就是為什麼每個人的計算體驗都将非常不同的原因。我們不再使用搜尋。搜尋将通過生成進行增強。我們稱之為RAG,即檢索增強生成。是以,在未來,我們幾乎所有的體驗都将是生成的,而這種生成引擎需要一種特殊類型的處理器,那就是Blackwell。我們用全新的transformer引擎創造了Blackwell,一個第二代transformer,以及一個非常大的NVlink,這樣我們就可以非常快速地生成大量資訊,并同時并行多個GPU。是以這就是Blackwell。

第三件事是,在這個新世界中,我們能夠編寫的軟體是不同的,它非常複雜,但大公司、企業如何像使用Windows那樣使用這些軟體呢?它以二進制形式存在。你下載下傳它,安裝它。在SAP的案例中,你的IT部門為你安裝它。一些應用程式在雲上,但如果你想建立自己的應用程式,而你需要内置這種稱為AI的不可思議技術。你該怎麼做呢?是以,必須有人找出一種方法,将這種非常複雜的軟體與所有的高性能計算技術、所有的GPU技術、所有的Tensor RTLM和分布式計算一起,打包進一個容器中,使人們易于使用,同時也易于下載下傳和使用,意味着你可以直接與它互動。

真正酷的是,在未來,軟體就是AI,你與軟體的互動方式就是直接對話。是以,AI軟體即将到來。它将非常易于使用。API非常易于使用,非常自然,你可以将許多這樣的AI連接配接在一起。我們稱它們為NIMs,我們稱它們為NIM微服務,我們将幫助公司将它們連接配接在一起。你可以直接使用,可以定制它,我們可以教你如何定制它,你可以将它連接配接起來。我們可以教你如何将它與許多其他應用程式連接配接起來。是以,我們讨論了NIM,讨論了這項服務。我們将幫助客戶定制他們自己的NIM的方式,我們稱之為AI工坊(AI foundry)。

我們擁有AI技術,我們擁有執行它所需的工具,當然還有公司的基礎設施,這三樣東西——技術、專業知識和基礎設施,基本上就是一個工坊的特點。是以,我們可以幫助每個公司建構他們的定制AI。現在,誰會想要定制AI呢?那些擁有平台的公司。是以,SAP、ServiceNow、ANSYS、Cadence、和NetApp等都想要定制AI。是以,我們可以與他們合作,幫助他們建構他們的定制AI,我們可以像工坊一樣為他們制造這些AI,他們可以自己将其推向市場。這就給出了一個例子,說明我們将如何利用這項AI技術,并将其帶給世界。

我談到的最後一件事是AI的下一個浪潮,需要AI了解實體世界。當然,你們已經看到了包括OpenAI的Sora在内的一些具有革命性的AI。當Sora在生成視訊時,它實際上是有意義的。汽車在路上,它會轉彎,人在街上行走有反光。顯然,AI懂得實體學,對吧?它懂得實體定律。是以,想象一下如果我們将其推向極限,那麼AI實際上可以在實體世界中行動,這就是機器人學。

Sora生成的樣片(00:59)

是以,下一代技術需要新的計算機來在機器人中運作。我們稱之為Omniverse新工具,讓機器人可以在數字孿生中學習。當然,我們還需要發明一些新的AI模型,新的基礎模型。是以,整個堆棧,也就是我們進入市場的方式,正如你們所知,我們是一個技術平台,而不是一個工具公司。我們有開發者,Omniverse是我們的數字孿生,通過API或SDK,我們與開發者相連。

這次我們宣布了很多偉大的開發者。3D Excite将連接配接到Omniverse API,增強逼真的渲染和基于實體的渲染。西門子、Cadence、Blackwell、Hexagon等都已連接配接到Omniverse APIs,他們可以使用這些Omniverse APIs建立數字孿生,并成為我們的超級合作夥伴。我對Omniverse在連接配接這些工具方面的成功感到非常高興。這些工具本質上被Omniverse增強,我對此感到非常高興。

是以這就是我們讨論的五件事。Blackwell既是一個晶片的名稱,也是一個計算系統的名稱。這是HGX平台,從Ampere A100到H100、H200、B100以及B200版本,這個版本真的很棒,與Hopper完全适配。是以,你可以拿掉一個Hopper,換上一個Blackwell。這種生産過渡将讓客戶增長變得更加容易,因為基礎設施已經存在。我們還有一個新的架構,采用液冷技術,允許我們建立非常大的NVLink區域,在一個NVLink域中建立8個GPU。我們希望有更大的GPU。也就是說,一個GPU, 8個Hopper裸晶(die)。在Blackwell的情況下,就是16個裸晶,每個矽片裸晶帶來顯著突破。是以,無論如何,那就是Blackwell。

但是,如果我們想要建立更大的,我們可以一直實作下去。我們可以将多個版本的Blackwell和Grace CPU堆疊在一起,它們通過NVlink開關連接配接在一起,NVLink開關就在這裡,這是世界上性能最高的開關,我們堆疊了9個這樣的開關,能連接配接36個晶片,76個GPU。好的,我可以接受提問了。

記者:想問一下,你們計劃将多少新的網絡技術賣給中國,以及,我們有任何專為中國市場設計的SKU(商品庫存)嗎?這些SKU可能內建了一些其他技術,除了計算裸晶,由于計算密度你無法将其送去售賣,但你們還在開發哪些內建了其他先進技術的新SKU,除了我們昨天看到的那些?

黃仁勳: 我剛剛才宣布了這個SKU。不,我們今天所說的就已經是全部了。當然,我們賣給中國的任何産品都必須遵守出口管制規定,那是首要任務。是以我們會考慮這個,我們正專注于這個。對于中國,我們有L20和H20晶片,我們正在盡我們所能地為中國市場優化它們,并服務于那裡的客戶。

記者: 你在主題演講中提到,英偉達是一個與許多企業合作的AI工坊,我認為這非常重要。你能分享更多關于你們的整體政策和長期目标嗎?

黃仁勳: AI工坊的目标是建構軟體AI,不是将軟體作為一個工具,但請記住英偉達始終是一家軟體公司。我們很久以前建立的最重要的軟體之一叫做Optics,後來它變成了RTX。另一個非常重要的是叫做cuDNN,cuDNN是AI庫。我們有所有這些不同的庫。未來的庫是一個微服務,因為未來的庫不僅會用數學描述,還會用AI描述。是以這些庫,我們過去叫它們cuBLAS,還有一大堆“cu”,但在未來,它們都是NIMs。這些NIMs是超級複雜的軟體,你所需要做的就是來我們的AI網站,你可以直接在那裡使用它,或者下載下傳它到另一個雲平台,或在自己的計算機上運作。如果它足夠小,你可以在你的PC上運作,運作你的工作站,運作你的資料中心。我們将使這些NIMs的性能非常高效。是以,這是使用英偉達庫的一種新方式,當你作為一個企業運作這些庫時,我們有一個你需要許可的作業系統,這個作業系統的費用是每GPU每年4500美元。你可以在其上運作盡可能多的模型,隻要你喜歡。

記者:今天早上你提到一顆Blackwell晶片的價格在三萬到四萬美元之間,你沒有具體說明是哪一個,是以你能提供具體的定價嗎?你在演講中提到的2500億美元TAM(潛在市場規模)的市場具體是什麼,英偉達在其中占多大比例?

黃仁勳:我很感謝你的問題。好的,首先,我試圖給出我們産品定價的感覺。我并不打算給出一個具體報價。原因是,我們顯然不是單純賣晶片的,并且Blackwell作為一個或多個系統的定價是非常不同的。而且,你不能隻使用Blackwell,Blackwell系統包括了NVlink,就在這裡。是以,這次的定價差别是完全不同的,我們将為它們每一個提供定價。每個的定價将如往常一樣基于TCO(總營運成本)而定。

英偉達不僅僅制造晶片,英偉達建構資料中心,你們可以看到我在最後一個幻燈片中展示的,顯然不隻是一個晶片,我們建構了整個東西和所有軟體,我們啟動它,讓它工作,調優它,使其高效,完成建構整個資料中心所需的所有工作。我們實際上建造了屬于我們自己的這一切,對吧?我們正在建造我們自己的幾個(資料中心),來使其盡可能高效。然後這是瘋狂的部分,我們将它們分解成像這樣的小部分。是以我們拿一整個資料中心,讓你決定你想買哪些部分。是以,我們讓你來決定想如何購買。也許你的網絡不同,你的存儲不同,你的控制平面不同。至少你的管理子產品會有所不同。是以,我們與你合作,我們會分解一切,弄清楚如何将其整合到你的系統中,然後我們有整個團隊的人來幫助你做到這一點。這并不是人們過去購買晶片的方式。這實際上是在設計資料中心,并将我們的資料中心整合到其他人的資料中心中。我們的商業模式反映了這一點。

那麼,英偉達的機會是什麼?英偉達的機會不是GPU的機會,因為那隻是一個晶片的機會。有很多人制造了GPU,GPU市場與我們正在追求的機會非常不同。我們正在追求的是資料中心市場,全球資料中心的市值約為每年2000億到2500億美元,而那2500億美元正在迅速轉向加速計算和生成式AI。是以,那就是我們的機會,顯然,由于AI已被證明相當成功,這個機會将會持續增長。是以,我認為我們的機會是那2500億美元中的一個百分比。

我還想澄清一下,我引用的數字,那2500億美元大約是去年的數字,我認為它每年會增長25%或20%左右。是以這就是為什麼我會說,英偉達的機會可能在一萬億到兩萬億美元之間,具體取決于時間架構,但對該區間的估算是合理的。

記者:薩姆·奧特曼(OpenAI的CEO)一直在與整個晶片行業的人交談,讨論擴大AI晶片領域的範圍和規模。他是否與你談論過這個話題?不管他是否談過,你如何看待他的意圖,以及這對你和你的公司有何影響?

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

Sam Altman 視覺中國 資料圖

黃仁勳:除了知道他認為生成式AI将是一個非常大的市場機會之外,我不了解他的意圖。我也同意他的觀點。讓我們回到基本原則。今天計算機生成像素的方式是通過檢索,然後解壓它,并将其顯示在你的螢幕上。整個過程,人們以為需要很少的能量,但實際上正好相反。原因在于每一次提示,每次你觸摸手機,它都必須迅速前往某個地方的資料中心,收集所有的資料片段,讓CPU去擷取所有的片段,并以一種從推薦系統的角度講得通的方式組合它們,然後發送回你這裡。如果你每次問我一個問題,我都得去我的辦公室尋找答案,那将消耗比我直接回答更多的能量。是以,我與你的工作方式大體上是生成式AI,我是生成式的而不是基于檢索的。

是以,在未來,越來越多的計算将是生成式的而不是基于檢索的,但這種生成必須是智能的,必須與上下文相關,等等。我們相信,我知道他也相信這一點,幾乎每個人電腦上的每個像素,每次你與計算機互動時,都将由生成式晶片生成。而今天的生成式晶片來自英偉達。我們希望随着Blackwell和未來世代的發展,我們能夠在這一領域繼續做出很多貢獻。但如果有一天,每個人的電腦、每個人的計算體驗都是生成式的,我也不會感到驚訝。是以這是一個巨大的機會,我會同意這一點。

記者:請問你對未來的願景是什麼呢?我們有一個工坊,一個基礎模型,在我們的生活中會如何發展?

黃仁勳:是的,問題是我們如何擁有自己的個人LLM(大語言模型)?起初,我們認為可能需要進行微調,在持續使用中我們不斷進行微調,但如你所知,微調相當耗時。然後,我們發現了提示調整和提示工程,然後我們發現了上下文、記憶、大上下文視窗,然後我們發現了工作記憶等等。我認為答案是,未來将是所有這些的結合。你可以通過調整權重的一個層次來進行微調,使用LAURA訓練方法。你不必微調所有東西,你隻需當機它,除了一個或幾個層次。然後,你可以進行低成本的微調,你可以進行提示工程,你可以處理上下文,你可以存儲記憶,所有這些加起來就成了你自己特别的LLM,而這個LLM可以在某個雲服務中,也可以是你自己的計算機。

記者:我想知道您對像Groq這樣的AI晶片初創公司有什麼評論,他們在您的主題演講後發了一條推文說,“我們仍然更快”。

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

來源:X平台

黃仁勳:聽起來很氣人。我對此并不是很了解,無法做出聰明的評論。我确實認為令牌生成是一個非常困難的問題,如果你想為每個模型生成令牌,每個模型都需要它自己的特殊分區方式,因為transformer并不是所有模型的統稱。它基于transformer技術,每個人的transformer在意圖層這一點上是相關的,但它們都是相當不同的。其中一些不是前饋網絡,使用這種叫做混合專家系統(mixture of experts)的東西,從一個專家到兩個專家,還有一些是四個專家,它們如何配置設定工作以及如何路由資訊,從一個專家送到另一個專家,都是不同的。

是以,每一個模型都需要非常特殊的優化。如果計算機太脆弱,就是說它被設計來做一些非常具體的事情,并且需要非常具體的輸入,它就是一個可配置的計算機,而不是一個可程式設計的計算機。這沒什麼問題,有适合它的地方。但它不允許你從軟體創新的速度中受益。CPU的奇迹之是以不能被低估的原因。CPU之是以一直是CPU,并且這麼多年來一直克服了PC主機闆上的這些需要配置的東西,有一個非常簡單的原因,因為CPU是可程式設計的。軟體工程師的天才可以通過CPU實作。如果你把它固定在晶片中,那麼你就切斷了軟體工程師的才華。

英偉達找到的方法是同時受益于兩者:一種非常專門的計算形式,平行計算(parallel computing),基于大規模線程流基礎的計算模型,對延遲的容忍,還有一些關于英偉達處理器的獨特屬性,使其變得非常高效,而在另一方面,它也是可程式設計的。如果你們注意到的話,一直以來隻有一個架構一直存在,經過所有其他的那些網絡、resnets(深度殘差網絡)、NNs(神經網絡)、強化模型,最終是transformer。有許多類型的transformer,現在出現了transformer與狀态空間之間的融合,以及人們處理上下文和記憶的方式,這些架構都在發生瘋狂的變化。

是以,我們能讓一個模型工作好是很重要的。這是一個重要的觀察。有人做到這一點真的很棒,但我認為, AI最終不是一個晶片問題,它是一個軟體問題,晶片的存在是為了促進軟體的發展。我們的工作是促進下一個ChatGPT的發明,假如說是Llama 70B,我會非常、非常驚訝。

記者:從關于軟體的回答接着說。你昨天宣布的一大部分是關于軟體和NIMs的。增長的機會在哪裡?從你昨天所做的宣布中,英偉達最大的增長機會在哪裡?我有種感覺是這些微服務将會是你們的下一個大事件。關于軟體的第二部分問題,你在幾次采訪中說過,因為未來可以通過說話來實作,是以沒人需要再編碼了。你在建議人們不應該學習那些技能嗎?

黃仁勳:關于提問的第二部分,首先,我認為人們應該學習各種技能。拉小提琴看起來真的很難,還有雜耍,以及數學、代數、微積分、微分方程。我認為人們應該盡可能地學習許多技能,不是說程式設計對你成為一個成功的人不再是必要的。曾經有一段時間,世界上有許多偉大的人都在倡導每個人都必須學會程式設計,不然你會變得沒用。我認為這是錯誤的。不是個人的工作去學習C++,不需要C++就能派上用場是計算機的工作。

這就是我想說的。而我覺得被忽略的一點是,我相信AI已經為彌合技術鴻溝作出了最大的貢獻。你不必成為C++程式員才能成功。現在你隻需要成為一個能夠提出提示的工程師,而誰不能成為一個能夠給出提示的工程師呢?當我妻子和我交談時,她就像是在給我給出提示一樣,而且效果非常好。我認為我們都需要學會如何給AI提示,但這與人們學習如何指導隊友并沒有什麼不同。取決于你想要做的工作,你所尋求的結果的品質,是在尋求更多的想象力還是你想要更加具體的結果,你都會以不同的方式來提示一個人。

在未來,你會以同樣的方式與AI互動。你會根據你想要獲得的答案讓它做出不同的反應。也許,你想要在一開始得到令人驚訝的答案,然後逐漸讓它變得更加具體?多術語提示?是以,與計算機一起工作的方式,每個人都知道怎麼做,我相信這是AI所做的第一件偉大的事情,它消除了技術鴻溝。看看YouTube上所有人建立AI的視訊,他們根本不用寫任何程式。是以我想這就是我的觀點,但是如果有人想要學習如何程式設計,請務必這樣做,因為我們正在招聘程式員。

對于第一個問題,我們最近的機會,是即将建設的兩種類型的資料中心。其中一個是将通用計算現代化為加速計算的資料中心。第二個是這些AI生成的資料中心,提示生成資料中心。這是我們最近的一個非常非常大的機會。在我們做這個的同時,我們希望幫助客戶制造AI。有AI的發明。比如說,LAMA2真是太棒了。Mistral也很棒。還有很多其他的,對吧?GR非常出色。有很多很多的AI正在被建立,但這些AI對公司來說很難使用。有算法,它們以原始形式存在,很難運作。是以,我們要去建立一些合作夥伴,然後拿取其中最受歡迎的開源模型,并将它們轉化為生産品質、可用的模型。

但是這些可用的模型,這些預訓練模型本身并不完全有用。你仍然需要對它們進行調整、微調、限制條件,使它們能夠通路專有資訊等等。是以,對于公司來說,要能夠使用AI,我們仍然需要圍繞它提供一整套服務,我們稱之為NeMo。一旦我們完成了這些,這個軟體你可以在任何地方運作。是以實際上,我們不僅僅要發明AI,而且要制造AI,如果你願意的話。通過制造這些AI和AI軟體,每個人都可以使用它。在企業中,我們的軟體業務每年的營運額約為十億美元。我認為制造AI可能會成為一個相當大的業務。

記者:你提到了技術鴻溝,我懷疑現在它實際上正在擴大,因為很多非程式員,可能是醫生、律師、經理、服務提供者之類的人,并不完全了解這些機器正在推出什麼,這将對他們自己的業務在非常近的未來中什麼樣的颠覆。我想知道,你能給那些相當确定自己知道如何工作、并且将在未來幾年甚至更長時間内持續下去的人什麼樣的建議,或許更具體地對我的以色列觀衆說幾句話。

黃仁勳:首先,我在以色列有3300名員工。我在加沙和西岸有近百名員工。我們在加沙有承包商,我們的心和你們所有人在一起。首要任務,當然,是保持安全,我們作為一家公司會提供一切可能的支援,我們都盡力而為。是以,任何代表公司的人,請這樣做。

對于你問的第一件事,我觀察到,在GTC上,有醫療保健公司、藥物發現公司、金融服務公司、制造公司、工業公司、消費公司、廣告公司、汽車公司、運輸公司和物流公司等等。我相當确定,他們之是以來這裡都是因為AI。是以,你應該觀察到的第一件事是,對于大多數不在計算機行業的行業來說,計算技術是第二位的,他們的行業領域是首位的。但因為AI使計算機如此易于使用,我們實際上已經為他們關閉了技術鴻溝。是以,如果你是一名醫療服務提供者,你使用AI和計算技術影響自己行業的機會比以往任何時候都大。

一個例子是,AI初創公司的數量急劇增長,它們在哪裡增長?在醫療保健等領域,而不僅僅是計算機行業。是以,這非常明确地表明,所有行業本身都認識到AI的不可思議能力,并且他們有能力利用它。是以我認為這絕對正在發生。

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

視覺中國 資料圖

記者:你談到了大量使用生成式AI和模拟來大規模訓練機器人,但有很多事情我們無法模拟,尤其是當我們開始要求機器人在非結構化環境中執行更多任務時。你認為在模拟中訓練機器人的限制是什麼,當我們開始碰到這些限制時,我們該怎麼辦?

黃仁勳:有幾種不同的方式來思考這個問題。第一種方式,将你的問題放在一個大型語言模型的背景下來考慮;記住,大型語言模型是在一個完全不受限制的世界中運作。這是一個無結構的世界,這是其中一個問題。但想一想,它從大量文本中學習。是以,大語言模型,這些基礎模型泛化的能力正是其魔法秘訣。泛化,然後取得上下文,通過幾次疊代。或許在你的提示中,你告訴它你在廚房,你正準備做一個煎蛋卷,你指定了問題,你指定了上下文。這些是你隻能使用的工具,你沒有黃油。你坐在這裡,所有東西都在冰箱裡。你描述的上下文就像你在與大語言模型互動時所做的一樣,這個機器人應該能夠足夠地泛化,如果應用一些你已經見過的ChatGPT的秘訣。

這就是我所說的,機器人領域的ChatGPT時刻可能近在咫尺。還有很多偉大的科學問題需要解決,但你可以看到它的外延,并且這個機器人可以生成令牌。對軟體來說,這有意義嗎?它不知道差別。它隻是一個令牌。是以你必須對這個進行标記化。它的編号是多少?計算機科學家會弄明白的。一旦他們将所有這些手勢标記化,他們就會像你标記化單詞一樣将其泛化、上下文化。最後一部分是使其具體化。具體化的部分是強化學習,在ChatGPT中是人類回報,你會給它很多例子,問題與回答。在哲學、化學、數學中的适當回答,以及非常精心制作的、人類合适的問題與回答。其中一些被描述在頁面中,有成千上萬,更多的例子已經呈現給了成為ChatGPT的大型語言模型。他們所做的工作真的很辛苦。

來個人類的示例。讓我向你展示如何制作咖啡,這是一個非常清晰表達的例子,然後機器人會說,哦,我明白了。讓我泛化一下。你的意思是如果我把這個稍微移動到這裡,那仍然是同一個活動,制作咖啡。是以我使用的是完全相同的類比。你能看到這兩條相似的路徑嗎?是以,事實上你在ChatGPT中所看到的,現在經過我這樣的解釋,你幾乎可以看到它。我們看不到它,唯一的原因是,不知何故,我們無法在大腦中将文字和機器人的動作分離開。那是唯一的原因,唯一的障礙。如果我告訴你對于計算機來說,它們都隻是數字;它不知道差異。然後你就會說,哇,那很有趣。這是可行的。

記者:關于幻覺問題,我想知道你是如何看待它,特别是在像醫療保健這樣的任務關鍵型事務中,你必須做到百分百的正确。那是可以解決的嗎?你是怎麼看的?

黃仁勳:是的,我非常感謝這個問題。幻覺是非常可解決的,不是靠它自己,但它很容易被解決的。如果你說每一個答案,你首先必須查找答案。是以,這被稱為檢索增強生成。現在,檢索生成仍然有一些弱點,但不管怎樣,基本概念是有意義的。是以,不能編造一個答案,如果你進行網絡查詢,它應該先搜尋,然後從搜尋中,AI讀取答案。不要編造它。隻需從網絡上讀取答案,然後從你讀到的内容中,優先考慮你認為最能回答我的問題、最準确、最真實的那些。也許它對某個網站了解一些,也許它隻是在描述中知道有些不對,就要拒絕這個回答,并找到最有意義的答案,然後将其描述給你。

實際上,如果答案對你真的很重要,這個AI不能回答你不真實的東西。它首先進行研究,确定哪一個答案是最好的,然後總結給你。它要進行研究。是以現在,假設你沒有聊天機器人,這實際上是一個為你做總結的研究助理。根據資訊的關鍵性,我可能會堅持要求你在回答我之前總是先進行研究。這并不是什麼大問題。例如,如果我隻是想知道,我知道這些答案是常識,隻是我不确定具體是什麼。例如,熱茶的溫度是多少?我不太确定。如果不确定的話,你可以先查一下。

記者:我想知道,在建構像Blackwell這樣的平台時,你們是如何估算計算需求的,或者說,隻是以盡可能快的速度增加計算能力到無限。如果是後者,你們是如何從功耗和可持續性的角度考慮這個問題的。

黃仁勳:答案非常簡單。我們必須弄清楚我們的實體極限在哪裡,并盡可能地推進到這些實體極限,同時超越它們。那麼,我們如何超越實體極限呢?超越實體極限的方式是使事物更加能源效率高。是以我們做的第一件事是使事物更加能源效率高。實際上,我昨天展示的例子是,訓練GPT-4大約需要90天。使用Hopper,将需要8000個GPU花90天來訓練GPT-4,使用Blackwell隻需要2000個Blackwell,4兆瓦,比訓練GPT-4少11兆瓦,時間相同。是以,我們制造了Blackwell,有更高的能源效率,我們就可以推動極限。能源效率和成本效率是首要任務。我還展示了,其可以為大語言模型生成令牌的速度提高30倍。換句話說,我們使其速度提高了30倍,這意味着我們在這樣做時節省了很多能源,産生相同令牌需要的能源減少了30倍。能源效率和成本效率實際上是我們所做一切的核心,這實際上是首要的。

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

視覺中國 資料圖

記者:你提到了很多行業都有可能經曆ChatGPT式的時刻,顯然,你正在努力使許多行業能夠實作這一點。你能挑出一個你認為首先會發生大突破、真正讓你興奮的行業嗎?

黃仁勳:有很多例子,其中一些因為技術原因讓我興奮。有些是因為首次接觸的原因讓我興奮,還有一些是因為影響的原因。好的,讓我給你一些例子。

我對Sora非常興奮。我認為OpenAI與Sora所做的工作是非凡的。從自動駕駛汽車公司Wayve,去年曾看到了相同的能力。你看到我們将近兩年前做過的一些示例,關于如何從文字生成視訊,為了生成合理的視訊,模型必須對實體有一種感性了解,當你放下一個杯子時,它位于桌子上面,而不是桌子中間。是以,行走的人在地面上,他們的腳不在地下。是以,這具有對實體的感性了解。它不遵循實體定律,但對實體有感性了解。它了解世界的模型。

其次,我認為我們與Earth 2 CorrDiff所做的工作具有巨大影響。為了在三公裡的規模上預測天氣,需要一台比目前用于天氣預測的超級計算機大25000倍的超級計算機。是以,三公裡的規模允許我們預測極端天氣對當地社群的影響。我們所做的另一個好處是,我們使它的能源效率提高了3000倍,通過這樣做,并且速度提高了一千倍,我們可以預測極端天氣的一大堆不同的飛行路徑,因為天氣是混沌的。是以,你想盡可能多地對它進行抽樣。我們可以進行10000次抽樣,而不是一次。是以,我們得到正确答案或最有可能的答案的能力大大提高了。是以,極端天氣預測,局部、區域預測,我認為這是非常有影響力的工作。

我還認為,在生成可能的、可藥用的分子,具有特定靶蛋白質方面的工作非常理想,基本上是發現小分子藥物。我們可以将其放入像AlphaGo那樣的強化學習循環中,坐在那裡生成各種分子,并将其附着到蛋白質上,并使用AI模型來做到這一點,這樣我們就不必在超級計算機中做這些。我們可以探索巨大的空間。那是非常有影響力的東西。一些早期名額非常令人興奮的領域,例如我們剛才關于機器人的讨論。通過在通用機器人學中的潛在影響,使它們不那麼脆弱,可以變得更有用。是以,正在發生的這些事情非常令人興奮。

記者:希望你能深入探讨一下你對藥物發現和蛋白質的願景,比如結構預測,以及最終涉及分子設計的内容。另外,這些努力對你的其他項目有什麼影響,比如量子計算?你是否需要在量子方面做更多的工作來幫助支援其他項目,比如藥物發現方面的工作?

黃仁勳:我來從後往前回答。你知道,我們可能是世界上最大的量子計算公司,而我們并不制造量子計算機。我們之是以這樣做,是因為我們相信量子計算。我們認為沒有必要再建造另一個量子計算機。而量子計算不僅是量子計算機。當它發生時,量子計算機很可能會是一種加速器,就像視訊加速器一樣。它用于非常特定的某些事情。量子計算不會用于所有計算。它是一個非常特定的領域,并且将與經典計算機連接配接。是以,我們建立了CUDA-Q,這是CUDA的程式設計模型,但用于量子,經典量子CUDA架構。其次,我們建立了CUDA Quantum,另一個“CU”,允許我們模拟量子計算機。

今天,我們可以模拟一個量子計算機,其速度比34、36量子比特的量子計算機還要快。我們可以用它來模拟量子電路,以便算法專家可以開始研究量子計算機。我們可以使用它進行後量子密碼學,為量子到來時世界做準備,到那時所有的資料已經被編碼并适當地進行了密碼編碼。是以,我們可以為所有這些作出貢獻。我們與世界上絕大多數量子計算機公司、研究人員、量子計算機制造商等合作。是以,我們相信,在它對數字生物學方面的科學突破作出貢獻之前,還需要相當長的時間。

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

視覺中國 資料圖

實際上,整個對NIM的認識都是從我們對數字生物學和BioNEMO所做的工作中獲得的,BioNEMO幾乎就是我們的第一個NIM。原因是這些模型非常驚人,但它們太難使用了。你怎麼能使用它們呢?是以,我們開始考慮以一種非常特殊的方式打包它們,以便所有研究人員都可以使用。BioNeMo正在被廣泛使用。我為此感到非常驕傲。你發送一個化學蛋白質對,它會告訴你結合能量是否足夠低。你發送一個化學物,你說,給我一堆像這個一樣的例子,探索那個藥物化的空間,它就會創造出一大堆。我的意思是,那真的很酷。

記者:對于美國和中國之間的緊張關系,你認為這将如何影響英偉達的生産和銷售?就是說,如果在你制造它們的地方、或在你可以銷售它們的地方出現問題,那是你無法控制的障礙。那麼,你認為這将如何影響英偉達的前進路徑?

黃仁勳:是的,我們必須立即做兩件事。其中之一是確定我們了解政策,并確定我們遵守它們。然後第二,盡我們所能,加強供應鍊的韌性。正如你所知,我們不僅僅是制造一個晶片。我将這個Blackwell作為例子,其中有超過35000個部件,8個部件來自TSMC(台積電),其他35000個部件則不是。當我們将這個東西配置成像那樣的DGX時,這個配置有60萬個部件。這些部件來自世界各地,其中許多是在中國制造的。這就是事實。這對汽車行業來說是事實,對國防工業也是如此。是以,世界的供應鍊相當複雜。我确實非常相信,各國的目标并不是對抗性的。他們有一些公平性問題需要解決,但我認為末日場景不太可能發生,我們也不指望它發生。但當然,我希望那不會發生。我們能做的事情與韌性相關,然後是合規性,讓其他人做好他們的工作。

記者:你能談談英偉達與台積電的關系嗎?在過去幾年中,随着晶片和封裝複雜性不斷增加,這種關系是如何發展的,特别是考慮到Blackwell及其雙芯設計,他們如何幫助你實作了這一設計?

黃仁勳:我們與台積電的合作關系可能是我們所有合作夥伴關系中最密切的一個,這是可以了解的。我們所做的事情非常非常困難,而他們做得非常非常好。我們從他們那邊得到compute D,CPUD,GPU晶片,COAs基闆,以及來自Micron、SK Hynix和三星的記憶體,這些都在中國台灣組裝。是以,供應鍊并不簡單,需要大公司的協調,他們代表我們完成這項工作。這些大公司一起工作,他們意識到未來會需要更多COOs類型的互動。是以,我們解決了所有問題。公司間的協作實際上非常非常好。組裝完成後,第三家公司需要來測試,然後第四家公司将其內建到一個大系統中。

為了建構像這樣的超級計算機,你需要一個超級計算機來測試它,為了讓其進入資料中心。想象制造工廠中的房間就是一個巨大的資料中心,是以,整個供應鍊上下遊的複雜性非常高,我們不是單獨建構這個晶片。這是一個奇迹。當人們問我,你們制造什麼?你們制造GPU,我感覺他們想象的是我們像制造SOCs那樣制造這些晶片。但每當有人說GPU,我看到的是這個,是這樣的機架,是電纜和交換機,這是我心目中的GPU和一大堆軟體。是以台積電是其中非常關鍵的一部分。

記者:英偉達正轉向雲業務,而其他雲提供商正在制造晶片。你對這一趨勢有何看法?首先,大型科技公司制造晶片的事實,會對你們的長期定價政策産生影響嗎?你的雲政策是什麼?特别是考慮到中國市場,你們有計劃在中國推出DGX Cloud嗎?如果沒有,你們會提供什麼解決方案?

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

英偉達2023年3月釋出的AI超級計算服務DGX Cloud。來源:英偉達官網

黃仁勳:首先,我們建構了HGX。我們将其出售給戴爾,然後戴爾将其放入計算機中然後出售。我們之是以這樣做,然後我們建立在戴爾計算機上運作的軟體,并且我們創造市場需求來拉動戴爾計算機的銷售,因為戴爾不如我們了解英偉達的技術。是以,我們必須幫助戴爾創造需求。我們必須幫助戴爾建立這些系統并為其開發軟體。我們必須對雲服務做同樣的事情。我們與雲服務提供商合作,将NVIDIA雲內建到他們的雲中。我們不是一家雲計算公司。我們的雲稱為DGX Cloud,但實際上我們在他們的雲中。

我們的目标與我剛才提到的與戴爾相同。我們的目标是将客戶帶到他們的雲中,就像将客戶帶到戴爾的這台機器上。是以,不是HGX到戴爾,而是稱為DGX Cloud到CSPs到Azure。這是同一個理念。是以,我們開發軟體、培養開發者,并為使用我們架構的CSPs創造需求。這與任何人的晶片無關,而是與NVIDIA作為一個計算平台公司的角色有關。一個計算平台公司必須培養自己的開發者。這就是GTC存在的原因,一個開發者大會。如果我們是X86公司,為什麼需要一個開發者大會?世界上每個人都在使用X86。開發者大會有什麼用?因為我們的架構仍在被采用,其使用是複雜的。我們必須為它舉辦開發者大會。是以,DRAM不需要開發者大會,以太網不需要開發者大會,但像我們這樣的計算平台需要開發者大會,因為我們需要開發者。英偉達無處不在。我們在每個雲中,每個資料中心等等。

記者:你曾說,通用人工智能(AGI)将在五年内到來,而Blackwell如此強大,你是否仍然堅持這個時間表,或者您認為它會加快?如果加快了,你是否有任何顧慮?我之是以這樣問,是因為您顯然是現代的達芬奇,但也可以成為現代的奧本海默。

黃仁勳:奧本海默制造了一顆炸彈,我們沒有那樣做。首先,定義AGI。我現在說這個,相信每個人都在努力去定義它。我希望你能具體定義一個AGI,以便我們每個人都知道我們何時到達了。比如,定義什麼是聖克拉拉?它的地理空間位置非常具體,你們都知道如何到達那裡。定義新年,我們所有人都知道新年何時到來,甚至基于我們的時區,我們知道已經到達了。但AGI有點不同,如果我們将AGI定義為非常具體的東西,意味着一大系列的測試,數學測試、閱讀測試、閱讀了解測試、邏輯測試、醫學考試、法律考試、經濟學測試等等,你說的任何測試——一堆測試。如果我拿一堆測試,并且我說AGI的定義是當這套測試軟體程式做得很好時,意思是比80%中的大多數人都要好,或者幾乎比所有人都要好。你認為計算機五年内能做到嗎?答案可能是肯定的。

是以,每次我回答這個問題,我都會具體說明AGI,但到了媒體報道中,沒人具體說明。是以這就取決于你的目标是什麼。我的目标是與你溝通,你的目标是弄清楚你想要講什麼故事。是以,我相信,正如我所定義的AGI,可能在五年内實作。對于通用人工智能這三個詞,我不知道我們是否達成一緻。這就是為什麼我們有那麼多不同的詞來描述彼此的智能。

記者:我喜歡你說電腦遊戲是OG(原創)生成器的觀點。基于這一點,你去年有一個非常有先見之明的引用,即未來,每一個像素都将被生成,而不是渲染。你認為我們距離這個每個像素都在實時幀率下生成的世界還有多遠,以及在這個新範式中,你對遊戲和非遊戲體驗有什麼願景?

黃仁勳:我認為在技術領域,變革曲線不會超過十年。一旦它變得可行,變得更好,當然,ChatGPT不僅可行,在大多數情況下它更好。我認為這距離現在不到10年。10年後,你就處于那個S曲線的另一端。從現在起5年,你可能正處在中間,一切都在實時變化。每個人都會說,看,這就發生了。是以你隻需要決定。我們是不是已經進入那10年的前兩年了,可能已經進入前兩年了。是以,我會說在接下來的5到10年的某處之間,比如說八年,這幾乎是肯定的。

記者:日經指數在你們最近的财報釋出後創下了曆史新高,是以可以肯定地說,日本市場上有很多目光都在關注英偉達。你還在12月與岸田首相會面,讨論了在日本擴充AI能力。你能否與我們分享,在擴充日本的AI能力方面有何進展?或者分享你對日本市場、對NVIDIA産品和業務的一般展望。

黃仁勳:我認為日本高度認識到提高生産力非常重要。我們都知道,當一家公司變得更有生産力時,收益會提高。當收益提高時,我們會雇傭更多的人。當由許多公司組成的經濟變得更有生産力時,經濟會增長,雇傭更多的人,生活品質會更高。日本,像許多國家和公司一樣,需要提高生産力。AI是我們所知提高國家生産力的最佳方式。我認為日本了解這一點。日本也了解,日本的資料、語言和文化非常特定,沒有理由允許其他第三方收集那些資料來建立AI,然後重新輸入到日本,再讓日本市場為其付費,這是沒有意義的。你應該自己建立它。是以,出于主權AI、國家生産力、企業生産力等原因,我認為AI将在日本非常重要。我發現日本的活力令人振奮,有着驚人的能量,我所有的業務夥伴都對這個機會感到非常興奮,我也為你們感到興奮。

記者:英偉達是否計劃進一步擴大在以色列的業務規模,開設更多的中心,并收購更多的公司?英偉達在以色列的未來将會是怎樣的?

黃仁勳:以色列是英偉達按人均計算,員工最多的國家之一。以色列是英偉達最大的總部所在地,已經有3300人,也是我們一些最有才華工程師的家園。我們最重要的投資之一,NVSwitch來自以色列。我跟你們談到的這個東西,是Blackwell的心髒和靈魂,也來自以色列。是以,我們将繼續在以色列進行大量投資。那個地區對我來說非常重要。我們在西岸也在招聘。我們支援我們所有在西岸的巴勒斯坦員工,并照顧他們及其家人。不會有員工失去我們的支援,我們不會離開西岸,那個地區對我們非常重要。員工需要知道公司支援他們。為了讓他們做出偉大的工作,你需要知道自己的基礎是牢固的。英偉達是一家堅強的公司。我們的基礎是堅強的,我們對那裡的員工的支援是明确無誤的。是以,他們可以知道這一點。他們應該知道。

記者:印度政府最近承諾通過公私合作夥伴關系購買10000個GPU。英偉達是這個計劃的一部分嗎?同時,印度的AI計算能力目前不到世界的2%。你怎麼看待近期内這個情況的發展?

黃仁勳:首先,如果印度正在為AI購買GPU,我想就這個問題分享我的想法。我認為英偉達制造的AI GPU非常優秀,當你回去的時候,如果你能傳播這個資訊,那說明我們在這方面做得非常好。其次,我們對此非常感興趣,如果有人想購買一些GPU,我們會很高興,會開放業務。是以,希望大家傳播這個消息,英偉達開放了業務。

我認為AI是一個巨大的機會。實際上,當我去印度時,我通常有機會見到印度總理莫迪,那真是非常非凡的經曆。他對我說:“Jensen,印度不應該出口面粉來進口面包。”非常有道理。為什麼要出口原材料來進口增值産品?為什麼要出口印度的資料,這樣你就可以進口AI,對它進行精煉并增加其價值?

第二,印度擁有世界上最多的IT專業人員。毫無疑問,他們正在為AI重新教育訓練。當我與印度的上司者們會面時,他們非常清楚這是重新教育訓練自己的最大機會之一。他們将不再僅僅是公司背景的IT,而是成為公司前台的IT,在那裡創造價值。AI被用于工程、市場、銷售、财務、商業營運和市場政策。所有這些都是前台,而不是背景。印度正尋求進入IT的前台,那裡有最大的市場機會,我認為你們絕對會做到,我為你們感到很興奮。

黃仁勳萬字答問實錄:AI的下一個浪潮是什麼?

2021年10月20日,新竹,一名員工走進台積電位于新竹的總部。視覺中國 資料圖

記者:想問一下關于台積電,我們知道,台積電總能確定供應,但許多公司仍想要更多。你認為三星或者SK海力士怎麼樣?除了HBM(高帶寬記憶體)外?

黃仁勳:這就好像是問我一個關于台積電的問題,然後說,除了他們的代工業務外,你覺得台積電怎麼樣?(就像問)你喜歡與NVIDIA合作嗎,除了GPU以外?你知道HBM記憶體非常複雜,增值非常高。我們在HBM上花了很多錢。我們正在對三星的HBM進行認證。還沒有,但是還沒有。但我們會的。

記者:你們有讓三星制造晶片嗎?你對這種關系怎麼看?

黃仁勳:三星是非常好的合作夥伴。南韓,如你所知,生産了世界上最大數量的先進記憶體。HBM非常複雜。不要把HBM想象成DDR 5。完全不是那回事。它就是一個技術奇迹,這就是為什麼它的速度如此之快。HBM記憶體就像邏輯一樣運作,不僅僅是DRAM,并且變得越來越複雜。那些制造商是如此謙遜,以至于你誤解了。HBM是一個技術奇迹。現在,令人驚奇的是,由于生成式AI,在所有資料中心,過去的DDR記憶體都将成為未來的HBM記憶體。三星和SK海力士的更新周期是難以置信的。隻要英偉達開始增長,他們就會與我們一同增長,我們将在世界資料中心替換的記憶體量是巨大的。

為什麼這麼好?因為HBM記憶體的能源效率要好得多。這就是我們如何使世界更可持續,以便我們可以使用更先進的記憶體,它更快但功耗非常低。這非常複雜。是的。我非常重視我們與SK海力士和三星的合作夥伴關系。他們非常出色。

我們與台積電的關系沒有過于密切。不,我們應該更親密,但我們應該與所有合作夥伴都保持親密。我們與三星的關系非常深入。我們未來将要建構的每輛車都基于三星,我們對自動駕駛汽車行業的承諾非常高。是以,我們對合作夥伴的信任必須是非常長期的。三星是一家非凡的公司,也許你住在三星所在的同一個城市,你忘記了他們有多麼了不起。但從我所在的位置來看,三星是一家非凡的公司,SK海力士也是非凡的。這就是他們能成為自己領域的世界上司者的原因。

繼續閱讀