天天看點

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

作者:經緯創投

5月29日,因為業績遠超預期,英偉達市值在一天之内暴漲了1800億美元左右(1.3萬億人民币),這是美國曆史上第二大單日最高市值漲幅,英特爾(Intel)的市值如今隻有其九分之一。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

因為業績遠超預期,英偉達實作了美國曆史上第二大單日最高市值漲幅。圖檔來源:WSJ

這次暴漲的推動力,是席卷全球的AI浪潮。英偉達首席執行官黃仁勳說,人工智能應用正推動對算力的需求,而英偉達的晶片是創造人工智能工具的關鍵。比如OpenAI建構ChatGPT背後,可能要用到1萬枚左右英偉達GPU。

随着叱咤多年的摩爾定律逼近極限,我們開始需要其他技術來進一步提升算力。此時,“把電換成光”,成為了一個非常重要的選項。

光晶片很早就有,已經很成熟,但絕大多數是不可程式設計的光學線性計算單元。要想通過光來提升算力,具有實用價值的計算單元就必須具備可程式設計性,這種光晶片是最近10年才逐漸取得突破性進展的,本文所指的“光晶片”都是這種可程式設計的光計算晶片。

英偉達的暴漲代表了AI時代對算力的絕對重視,光晶片作為重要的潛在颠覆性技術路徑,同樣值得重視。光晶片商業化的兩大思路,我們提前列在這裡,本文最後一部分會詳細分析:第一大思路是短期内不尋求完全替代電,不改動基礎架構,最大化地強調通用性,形成光電混合的新型算力網絡;第二大思路是把光晶片子產品化,不僅僅追求在計算領域的應用,還追求在片上、片間的傳輸領域應用,追求光子產品的“即插即用”。

今天這篇文章主要會涉及以下幾點,當然需要多說一句的是,本文所主要介紹的思路,隻是光計算晶片領域的其中一條重要路徑,其他方案也在同步發展,同樣值得關注,Enjoy:

▌摩爾定律逼近極限,未來如何提升算力?

▌一篇論文打開了光計算的大門

▌一個典型的光子計算矩陣是如何運作的?

▌光晶片的優勢與挑戰

▌光晶片如何商業化?

點選檢視光晶片計算執行過程展示,來源:曦智科技

光計算晶片執行過程展示_騰訊視訊

1

摩爾定律逼近極限,未來如何提升算力?

在過去二十年中,算力發生了翻天覆地的變化。

如果你拿2010年的電腦和現在的相比,可能你會發現2010年的電腦還可以繼續跑現在的一些軟體。但如果你用2000年的電腦,去跑2010年的軟體,你會發現99%的軟體都跑不起來。

這說明了,電子晶片和算力的發展,其實是在逐漸變慢,背後的原因受制于實體極限,每一次晶片疊代所帶來的算力紅利,已經逐漸減少,從16納米到7納米、再到5納米,再往下一步的增長隻會越來越小。

這主要受限于功耗和半導體本身的密度。人們發現半導體的尺寸越來越小,但并沒有太好的辦法讓半導體的能耗進一步下降。另外還受到銅導線的制約,因為随着銅導線的橫截面積越來越小,電阻就會越來越高,于是發熱也不是一直能往下降的因素。

另一個登納德縮放比例定律——半導體在密度提升的同時,功耗密度保持不變,這一定律早在2004年左右已經失效。随着晶片內建度的提升,所需的功耗和散熱要求越來越大,産生了“功耗牆”問題。

如今從2016年、2018年到2020年,最先進的制程從16nm到7nm到5nm,性能提升實際上越來越慢,已經無法實作摩爾定律每18個月翻倍的速度。并且從研發難度和成本的角度,未來可能全球隻有極少數幾家足以繼續往5nm以下發展。

從對算力的需求來看,随着AI的爆發,在未來 10 年裡,用增長越來越緩慢的電子晶片,去比對增長越來越快的資料需求,這可能是目前最大的挑戰。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

AI模型容量和算力消耗的指數增長趨勢;來源:曦智科技《大規模光電內建賦能智能算力網絡白皮書》,Wilfred Gomes et al., "Ponte Vecchio: A Multi-Tile 3D Stacked Processor for Exascale Computing," ISSCC, 2022

曦智科技創始人兼 CEO 沈亦晨經常把晶片設計比喻成城市發展,現在的晶片面積越做越大,比如2015年英偉達的GPU晶片,整個晶片從面積上來看大概有600平方毫米,但2020年推出的深度神經網絡訓練和推理晶片A100,它的面積大約是800多平方毫米。

拿城市發展作比喻,如果在500年前,想把100萬人口的城市變成1000萬,是非常困難的,因為受限于幾個基礎設施方面的問題:一是城市交通,如果用傳統馬車或步行,哪怕全都是平面道路,也很難滿足交通需求。二是每棟樓房的設計,如果每棟樓房還是500年前的一層樓、兩層樓,要想支撐起更大的城市體系也非常困難,隻有出現了高層樓房,城市才能提高密度。

這個比喻對應了晶片設計中的片間網絡和片上網絡,如果把現在的電換成光,能在最基礎的“基建技術”方面,幫助電子晶片進行下一代技術更新,“光替代電”能有效解決高通量和交通問題。

2

一篇論文打開了光計算的大門

廣義的光晶片,并不算是前沿技術,它存在的時間甚至比電子晶片還要久。

2000年前後的海底光纜,光通訊兩端的收發子產品都是光子晶片,甚至老師在上課時用的雷射筆,裡面也有雷射器晶片,也是一種光子晶片。

但這些光晶片都是不可程式設計的,是以無法運用于計算領域。在計算方面,電子晶片獨步天下。

直到2017年,沈亦晨等人在《自然·光子》(Nature Photonics)期刊上所發表的封面論文,開創性地提出了一種以光學神經網絡為藍本的全新計算架構,光子計算成為可能。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

圖檔來源:Deep learning with coherent nanophotonic circuits,nature photonics

光學信号和光學器件與電子晶片遵循不同的實體原理。光計算理論比較複雜,簡單解釋是:光學信号與散射媒體的互動在大多數情況下是線性的,是以可以被映射為一種線性計算。

生活中其實有很多光學線性計算的現象,一個典型的例子是光學照相機的鏡頭,鏡頭前的光學信号在穿過鏡頭時,完成了兩次二維空間光學傅立葉變換,然後在感光元件上成像,是以,照相機鏡頭可以被看作一種不可程式設計的光學線性計算單元。

但要可程式設計,才有實用價值。在2017年的這篇論文裡,沈亦晨等研究者提出的最重要的思路,就是用一個網絡狀的幹涉器,在光通過幹涉器的時候,利用它們互相之間的幹涉和對幹涉器的控制來進行線性運算,可以總結為用一個幹涉器的集聯來完成大規模的線性計算,以此應用于人工智能的矩陣計算。

當然這個是最初提出的理論,後來這個系統要想實際落地,遠遠比一個矩陣電腦要複雜得多。并且光還可以運用在很多方面,例如片上和片間的資料傳輸等等,之後的技術方案經曆了多次疊代,變得越來越成熟。

在光計算晶片(矽光)上,一顆晶片需要內建上萬個光器件,包括調制器、探測器、幹涉器、波導、雷射光源、混波器等等10種左右,這些都是納米級。

光晶片的核心是用波導來代替電晶片的銅導線,來做晶片和闆卡上的信号傳輸,其實就是換了一種媒體。當光在波導裡面傳輸的時候,波導和波導之間出現光信号幹涉,用這個實體過程來模拟線性計算這一類的計算過程。

就像是光在凸透鏡鏡片裡的傳播過程,其實是模拟了一個類似傅裡葉變換的數學過程。在光晶片裡也是一樣,光在晶片上波導傳播的時候,當兩個波導靠得很近的時候,裡面的光信号就會互相幹涉,這個幹涉的過程就剛好模拟了一個線性計算過程。當有很多個波導,比如128根波導形成一個網絡互相幹涉的時候,我們就可以通過控制這些波導的幹涉,來模拟任何一個通用的矩陣運算。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

可程式設計光學系統的研究突破。圖檔來源:Deep learning with coherent nanophotonic circuits,nature photonics

點選檢視視訊:

光計算到底是如何實作的?為什麼說它适合于AI的矩陣運算。_騰訊視訊

3

一個典型的光子計算矩陣是如何運作的?

舉一個實際的例子,一個典型的光子矩陣計算是如何運作的?

首先最左邊是資料加載,中間是矩陣,最右邊是光信号接收,這個過程可總結為光信号通過矩陣接收的過程。

如果拿現實生活中的現象作類比,就類似于眼鏡,近視的朋友在沒有戴眼鏡之前,眼前的世界是不清晰的,但戴了之後就變清晰了,而這個從模糊到清晰的過程,就是眼鏡對圖像信号做了一種處理,也可以了解成一種計算。這個計算的實作方法是眼鏡前的光信号,通過眼鏡這個計算單元來完成。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

可程式設計光子矩陣乘法器原理示意圖,在這個例子中,所有的光器件都內建在一塊光晶片上,而光晶片的控制電路和記憶體都部署在電晶片上。圖檔來源:曦智科技《大規模光電內建賦能智能算力網絡白皮書》

在2020年的一份視訊示範中,曦智團隊在原型産品上成功用光子晶片運作了Google Tensorflow自帶的卷積神經網絡模型,來處理MNIST資料集,這是一個使用計算機視覺識别手寫數字的基準機器學習模型,也是機器學習中最著名的基準資料集之一。在測試中,整個模型超過95%的運算是在光子晶片上完成的處理。

測試結果顯示,光子晶片處理的準确率已經接近電子晶片(97%以上),另外光子晶片完成矩陣乘法所用的時間是當時最先進的電子晶片的 1/100 以内。這也是世界上第一台完全獨立的光學計算系統。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

曦智科技開發的早期産品。圖檔來源:曦智科技

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

這款初代産品正在處理MNIST資料集。圖檔來源:曦智科技

4

光晶片的優勢與挑戰

光晶片的優勢可以總結為:速度快/低延遲、低能耗、擅長AI矩陣計算。

首先是速度快/低延遲。光信号意味着光速,是以光計算晶片最顯著的優勢是速度快、延遲低,在晶片尺寸的厘米尺度上,這個延遲時間是納秒級(小于5納秒),這個速度是非常驚人的。并且這個延遲與矩陣的尺寸幾乎無關,在尺寸較大的情況下,光子矩陣計算的延遲優勢非常明顯。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

脈動矩陣計算和光子矩陣計算延遲對比示意圖。圖檔來源:曦智科技《大規模光電內建賦能智能算力網絡白皮書》

第二大優勢是低能耗。鏡片折射本身是不需要能量的,是一個被動過程,不耗能。當然,在實際應用中,由于要對計算系統程式設計,其中光信号的産生和接收還是需要耗能的。在光學器件和其控制電路被較好地優化前提下,基于相對傳統制程的光子計算的能效比,可媲美甚至淩駕先進制程的數字晶片。

第三大優勢是擅長矩陣運算。光波的頻率、波長、偏振态和相位等資訊,可以代表不同資料,且光路在交叉傳輸時互不幹擾,比如兩束手電筒的光束交叉時,會穿過對方光束形成“X”型,并不會互相幹擾。這些特性使光子更擅長做矩陣計算,而AI大模型90%的計算任務都是矩陣計算。

以上我們談到了很多優勢,但光晶片作為一項前沿技術,必然有很多挑戰有待克服,下面我們就聊幾個有待克服的難題。

首先由于要用于複雜計算,那麼光器件的數量必然就會很多,要達到不錯的性能至少需要上萬個,這也會帶來更複雜的結構和更大的尺寸。為了實作可程式設計,必然要對每個器件進行控制,也會要求高內建度。

這些要求會産生一些工藝上的挑戰,同時導緻成本很高,以及整體穩定性、生産良率都有挑戰,是以必須找到一種低成本、高良率的方法,來控制大量光器件的技術。曦智采取的是3D堆疊的封裝技術,在光晶片上方堆疊電晶片,電晶片可以內建各種各樣的功能。電晶片、光晶片通過凸塊上的調制器進行信号轉換,把數字信号變成模拟信号去控制光器件,然後再傳回。這時才能達到對複雜晶片的有效控制,最終作為一個整體內建在基闆上,成為一個産品。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

同時溫度也是需要一定的控制,因為環境溫度會對計算精度産生影響。因為是模拟計算,當整個環境對電晶片産生影響的時候,對光信号也會産生擾動。有一種辦法是把整個晶片放在恒溫環境下,通過溫控電路來實作。但這會犧牲一些光計算的低能耗優勢,因為如果為了控制它的精度而消耗很多能量,會有些得不償失。

對于溫度控制,還包括晶片内部發熱,導緻對周邊器件的影響問題。比如兩個器件靠很近,一個器件在發熱,旁邊會受影響。

另一個挑戰是應用層面的精度問題。因為光計算是模拟計算,精度受限于實體本質,同水準下精度較難與數字計算一樣。當然如果要想達到高精度(12比特、16比特等),也可以實作,但代價會非常大,是以核心是要尋求合适的應用場景,實際上在人工智能算法方面,并不需要那麼高的精度。

以上這些都是可以預料到的技術挑戰。

5

光晶片如何商業化?

光晶片看起來是很不錯的技術路徑,但到底多久才能落地?

我們總結了當下市場中,其中一種比較快的商業化路徑思路:

第一是短期内不尋求完全替代電,不改動基礎架構,最大化地強調通用性,形成光電混合的新型算力範式。

第二是把光晶片子產品化,不僅僅追求在計算領域的應用,還追求在片間傳輸光子產品的“即插即用”。

矽光晶片不是靠尖端制程來獲勝,更多是靠速度和功耗,比如光的調制解調的速度、功耗,還有多波複用,在一個波導裡面同時能通過多少路光等等。是以光晶片的“摩爾定律”不展現在制程,而是主頻和波長。

通過上文所說的商業化路徑兩點思路,可以看出矽光最大的優勢在于技術通用性。例如在一個GPU中,有專門做線性計算的計算核部分,它可能占到整個晶片四分之一到三分之一的大小,可以優先把這部分換成光的計算核。

同時,盡量不調整其他部分,最終對于軟體開發者或是使用晶片的人來說,甚至不會注意到這個改動。如果拿從燃油車疊代到電動車的過程來做比喻,司機不用改變駕駛習慣,油門、刹車的位置都不變,背後是發動機換成了電機。

無論是生産商還是客戶,最大的訴求之一就是要確定通用性。越大的客戶越想要這個産品實作“開箱即用”,才能夠最大限度降低學習成本,不需要對現在的底層架構進行過多修改,就能夠适配到成千上萬個目前的應用場景中。是以不動基礎架構,而是把線性計算的計算核部分用光來部分替代,形成光電混合的算力網絡新形式,是最快的商業化路徑。

從算力提升角度來看,一個計算系統主要有三塊計算要素:資料處理、資料傳輸、資料存儲。以上所說的是針對第一部分資料處理,可以用光代替電晶片來做大部分矩陣運算類的資料處理。

第二部分是資料傳輸,包括一塊晶片上的資料傳輸,和晶片之間的資料傳輸,也就是片上互連和片間互連,這兩部分也是光子晶片的用武之地。

我們簡單介紹一下片上光網絡和片間光網絡:

用片上光網絡(Optical Network On Chip,oNOC)來代替子產品間的電互連,可以利用光的低延遲和低能耗優勢。如下圖所示,兩個電晶片被堆疊在同一個光晶片上,電晶片之間的資料傳輸由光晶片上的光波導鍊路實作。由于光傳輸很快,是以無所謂距離有多遠,片上光網絡可以覆寫大量的長距離通道。光晶片能夠擴充到整個晶圓,進而實作晶圓級的光互連網絡。在這樣的狀态下,把計算任務映射到不同晶片的工作可以達到更高的使用率。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

片上光網絡系統側視圖與俯視圖。來源:曦智科技《大規模光電內建賦能智能算力網絡白皮書》

而對于片間光網絡,目前在電晶片中,是通過以太網卡來實作互連,但它受限于互連延遲和帶寬,在整體效率上有較大提升空間。利用光的優勢,一種優化辦法是取消網卡,将計算晶片直接和光電轉換子產品連接配接,以實作低延遲、高帶寬、低能耗的片間光網絡,當然這裡面需要實體層和互連協定兩方面的創新。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

片間光網絡示意圖。來源:曦智科技《大規模光電內建賦能智能算力網絡白皮書》

綜合來說,結合光子矩陣計算(oMAC)、片上光網絡(oNOC)和片間光網絡(oNET)等新技術,可以建構光電混合資料中心。

片上光網絡(晶圓級)可以令光計算晶片和傳統電晶片有效協同,在單節點提高算力;片間光網絡支援了高效傳輸和算力池化,使得大型分布式計算系統可以實作前所未有的高效、靈活和節能。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

光電內建技術的光電混合資料中心示意圖。來源:曦智科技《大規模光電內建賦能智能算力網絡白皮書》

從商業化角度,除了做整個光計算完整的解決方案以外,還可以把某些單個技術子產品化,比如剛剛所說的光計算(矩陣運算),或是光片上互連、片間互連,這些技術也可以子產品化成為産品。如果拿智能電動車行業作類比,就像除了做整車以外,電池、電機、操控系統等等都是單獨的子產品化産品,很多電晶片的設計公司也确實有相關需求。

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片

總之,光子計算提供了一條超越摩爾定律的算力提升路徑。

光子計算這個方向在過去五年中逐漸變熱,除了像英偉達這樣的晶片設計巨頭有布局,最近2-3年國際上一些晶圓廠、EDA公司、封測廠等等,也開始正式布局矽光産線。矽光晶片雖然當下還主要是在光通訊、光傳感的雷射雷達等領域,這部分需求也驅動了相關的供應鍊投入。雖然光計算還沒有完全落地,但矽光晶片每個産業鍊環節的全面性,是光計算晶片量産的前提。并且晶圓廠也無需為光晶片重新開發一整套工藝,很多工藝都是通用的。

展望未來,光計算晶片最大的應用場景,就是人工智能。其他的還包括自動駕駛、金融(追求低延遲的量化基金)等領域,以及未來很多科研包括對大氣、地理、新材料和藥物研發,都可以通過算力更高的光電混合晶片來提高現有研發進度。

對于這種前沿技術,我們要觀察什麼名額來判斷它的發展進度?其中一個核心名額是內建度,就是光電混合晶片能內建多少光器件,并且能精确控制它們。

這是一個全新的賽道,“超越摩爾定律”也是一個激動人心的口号,但幾乎沒有前路可以借鑒,開拓者們正在披荊斬棘,技術挑戰與商業化風險并存。但唯一可以确定的是,人類社會對提升算力的追求,正比以往任何一個時刻更加迫切。

References:

1、 曦智科技,《大規模光電內建賦能智能算力網絡白皮書》

2、 曦智科技CTO孟懷宇,《內建光子學在計算領域的機會與挑戰》

3、 曦智科技創始人兼CEO沈亦晨等,《Deep learning with coherent nanophotonic circuits》(自然·光子雜志)

4、 量子位,比RTX3080快350倍,光子晶片真的能幫我們實作“換道超車”嗎?

5、 DeepTech,曦智科技釋出全球首個光子AI晶片原型

6、 智東西:掀起資料中心算力新風口!大規模光電內建有多硬核?

也許你還想看:

經緯2022年終盤點:樂觀者前行,follow the white rabbit

經緯張穎:2023,不隻克服困難而是習慣困難 |【經緯低調分享】

經緯張穎:給科研/技術背景出身創始人的9條建議 |【經緯低調出品】

ChatGPT之父Sam Altman:大型AI企業,将誕生于哪些領域? |【經緯低調分享】

ChatGPT的前世今生,以及未來 |【經緯低調分享】

英偉達暴漲、GPT浪潮下,超越摩爾定律的算力提升路徑——光晶片