去年 5 月，1750 億參數的超大預訓練模型 GPT-3 讓世人驚豔，AI 模型體量大規模增長之後産生的效果出乎預料，引發了新一輪的技術發展。今年，一些 AI 模型的體量已經達到了萬億參數，這樣的超級模型需要無數 GPU 進行并聯計算。
然而不斷膨脹的算力需求成為了挑戰：摩爾定律已逐漸走向盡頭。而在算力之外，硬體功耗與散熱的挑戰也阻礙着 AI 應用的落地。
7 月 10 日，在上海舉行的 2021 年世界人工智能大會（WAIC）開發者論壇上，登臨科技創始人兼 CEO 李建文圍繞「GPU+: AI 新時代下的軟硬體協同異構計算平台」為主題進行了演講。在活動中，李建文給線上線下兩萬多位觀衆展示的了登臨科技 GPU + 産品的卓越能效。這家國内少有的，選擇 GPU 賽道、直面英偉達的創業公司在近期受到了社會各界的強勢圍觀。
登臨科技創始人兼 CEO 李建文在 AI 開發者論壇上。
「在伺服器及雲端大規模應用 GPU，是因為它的通用性好，可以運作各類神經網絡，這也與雲端計算的需求非常吻合。但另一方面，GPU 計算 AI 負載時的效率還不是很高，」李建文說道。「登臨科技 GPU + 的核心理念是繼承現有軟體生态和 GPU 的通用性，又通過架構創新來彌補 GPU 的缺點。」
在深度學習引領的最近一波 AI 浪潮中，GPU 扮演着重要作用，大量開源生态的應用開發基礎設施是在英偉達 CUDA 軟體生态上完成的。如何保持客戶已有的投入，是 AI 技術産業化的重要課題。
與很多科技公司選擇「特定領域體系結構」ASIC 的方向不同，登臨科技希望能夠找到一種與現有 GPU 産品相容，同時又可以大幅度提高 AI 模型計算效率的技術路線。
登臨科技提出的「GPU+」是一種軟體定義的片内異構通用人工智能處理器。傳統的異構計算是以不同種類的晶片在系統上實作的，這種方式面臨着晶片間資料傳遞的瓶頸。登臨科技的 GPU + 則在片内內建了多種計算引擎，進而解決了這個難題。
「我們把不同的計算引擎，GPGPU 和針對張量計算相關的計算引擎內建到了一起，排程引擎可以在高次元來控制算力的配置設定。登臨的片内異構計算可以擴充到其他的異構引擎，這些引擎既可以并行計算，也可以獨立工作。另外我們還有自主研發的高吞吐資料交換網絡。」李建文介紹道。
這種架構在資料流、執行模型、記憶體管理和資料存儲上，相對于傳統 GPU 都有非常大的改進。由于在更高的抽象次元上進行排程和算力配置設定，它增加了計算密度，提高了效率，極大地降低了 GPU 對于外部帶寬的需求。
目前，登臨科技 Goldwasser 系列産品已實作規模量産。Goldwasser 系列産品：包括邊緣計算産品 Goldwasser UL，功率 25-35W，INT8 算力 32-64TOPS；半高半長的伺服器計算卡 Goldwasser L，功耗 40-70W，提供 128-256TOPS 算力；另有一種全高全長的 Goldwasser XL，輸出 512TOPS 算力。
在實測過程中，登臨的 GPU + 在 40W TDP 時輸出了 128TOPS 算力，和國際主流産品對比其功耗更低，性能更高。在同樣的工藝上，GPU + 可以以更小的晶片面積，在同樣功耗下，在不同神經網絡上提升 3-10 倍計算效率，并同時可減低晶片性能對外存吞吐的依賴。
在軟體層面上，Goldwasser 支援目前開發者最常用的 GPU 程式設計方式，李建文介紹說，GPU + 在提供相容 CUDA/OpenCL 硬體加速能力的前提下，全面支援各類流行的人工智能網絡架構及底層算子。
登臨開發的 Hamming 工具鍊，不僅支援傳統 GPU 使用的硬體加速方式，PyTorch、TensorFlow、飛槳等國内外主流深度學習架構，在 CPU 适配上也支援國内外主流 X86 和 ARM 産品。登臨也和多家伺服器廠商合作，适配了多種伺服器。對于企業客戶來說，原本在 GPU 及 CUDA 平台上開發的程式，可以無縫遷移至登臨的産品上。
「從應用場景來看，今天在 GPU 上運作的所有應用都能在我們的産品上運作。而針對 AI 應用，Goldwasser 可以用更高的效率來完成。」李建文說道。
GPU+ 的異構設計讓客戶可以在現有生态投入的基礎上無縫轉換，同時顯著提升計算效率，并降低外部計算帶寬的需求，這種方式可以大幅度降低伺服器總體使用成本（TCO） 。登臨選擇 GPU + 異構架構的首個産品化方向，将成為未來晶片 AI 算力提升的一個有效途徑。
登臨科技成立于 2017 年 11 月，總部位于上海，在矽谷、成都、杭州等城市均設有研發中心。目前，首款基于 GPU + 架構的 Goldwasser 系列産品已在多個行業的領軍企業進行量産導入，并得到客戶的積極回報。