天天看點

清華“太極-Ⅱ”光晶片面世!成果登Nature

據清華大學官方消息,清華大學電子工程系方璐教授課題組、自動化系戴瓊海院士課題組另辟蹊徑,首創了全前向智能光計算訓練架構,研制了“太極-II”光訓練晶片,實作了光計算系統大規模神經網絡的高效精準訓練。

該研究成果以“光神經網絡全前向訓練”為題,于中原標準時間 8 月 7 日晚線上發表于《自然》期刊。

以下為清華大學官方公衆号原文轉載:

清華“太極-Ⅱ”光晶片面世!成果登Nature
清華“太極-Ⅱ”光晶片面世!成果登Nature

清華大學電子系為論文第一機關,方璐教授、戴瓊海教授為論文的通訊作者,清華大學電子系博士生薛智威、博士後周天贶為共同一作,電子系博士生徐智昊、之江實驗室虞紹良博士參與了本項工作。本課題受到國家科技部、國家自然科學基金委、北京資訊科學與技術國家研究中心、清華大學-之江實驗室聯合研究中心的支援。

Nature審稿人在審稿評述中指出“本文中提出的想法非常新穎,此類光學神經網絡(ONN)的訓練過程是前所未有的。所提出的方法不僅有效,而且容易實作。是以,它有望成為訓練光學神經網絡和其他光學計算系統的廣泛采用的工具。”

清華“太極-Ⅱ”光晶片面世!成果登Nature

巧用對稱,助力光計算擺脫GPU依賴

近年間,具有高算力低功耗特性的智能光計算逐漸登上了算力發展的舞台。通用智能光計算晶片“太極”的問世便是其中的一個縮影,它首次将光計算從原理驗證推向了大規模實驗應用,以160TOPS/W的系統級能效為大規模複雜任務的“推理”帶來了曙光,但未能夠釋放智能光計算的“訓練之能”。

相較于模型推理而言,模型訓練更需要大規模算力。然而,現有的光神經網絡訓練嚴重依賴GPU進行離線模組化并且要求實體系統精準對齊。正因如此,光學訓練的規模受到了極大的限制,光高性能計算的優勢仿佛被禁锢在無形的枷鎖之中。

在這個時候,方璐、戴瓊海課題組找到了“光子傳播對稱性”這把鑰匙,将神經網絡訓練中的前向與反向傳播都等效為光的前向傳播。

據論文第一作者、電子系博士生薛智威介紹,在太極-II架構下,梯度下降中的反向傳播化為了光學系統的前向傳播,光學神經網絡的訓練利用資料-誤差兩次前向傳播即可實作。兩次前向傳播具備天然的對齊特性,保障了實體梯度的精确計算。如此實作的訓練精度高,便能夠支撐大規模的網絡訓練。

由于不需要進行反向傳播,太極-II架構不再依賴電計算進行離線的模組化與訓練,大規模神經網絡的精準高效光訓練終于得以實作。

清華“太極-Ⅱ”光晶片面世!成果登Nature

全前向智能光計算訓練架構

清華“太極-Ⅱ”光晶片面世!成果登Nature

高效精準,智能光訓練事事可為

以光為計算媒介,以光的可控傳播建構計算模型,光計算天然具有高速和低功耗的特性,利用光的全前向傳播實作訓練能夠極大的提升光網絡訓練的速度與能效。

論文研究表明,太極-II能夠對多種不同光學系統進行訓練,并在各種任務下均表現出了卓越的性能。

大規模學習領域:突破了計算精度與效率的沖突,将數百萬參數的光網絡訓練速度提升了1個數量級,代表性智能分類任務的準确率提升40%。

複雜場景智能成像:弱光環境下(每像素光強度僅為亞光子)實作了能量效率為5.40×10^6 TOPS/W的全光處理,系統級能效提升6個數量級。在非視域場景下實作了千赫茲幀率的智能成像,效率提升2個數量級。

拓撲光子學領域:在不依賴任何模型先驗下可自動搜尋非厄米奇異點,為高效精準解析複雜拓撲系統提供了新思路。

清華“太極-Ⅱ”光晶片面世!成果登Nature

通用智能光訓練賦能複雜系統

清華“太極-Ⅱ”光晶片面世!成果登Nature

攜手太極,推動AI光算力揚帆遠航

太極-II的面世,繼太極I晶片之後進一步揭示了智能光計算的巨大潛力。

如兩儀分立,太極I和II分别實作了高能效AI推理與訓練;

又如兩儀調和,太極I和II共同構成了大規模智能計算的完整生命周期。

方璐表示:“‘定兩儀太極之道,合正反乾坤之法’,我們這樣形容太極系列這一組辯證協作架構,我們相信,它們将合力為未來AI大模型注入算力發展的新動力,建構光算力的新基座”。

在原理樣片的基礎上,研究團隊正積極地向智能光晶片産業化邁進,在多種端側智能系統上進行了應用部署。

可以預見,經過太極系列在内的光計算領域的不懈努力,智能光計算平台将有望以更低的資源消耗和更小的邊際成本,為人工智能大模型、通用人工智能、複雜智能系統的高速高能效計算開辟新路徑。

繼續閱讀