7 月 7 日，在上海舉行的首場釋出會上，晶片創業公司瀚博半導體展示了旗下最新産品，SV100 系列雲端通用 AI 推理晶片和 VA1 通用 AI 推理加速卡。剛剛推出的晶片實作了業内領先的性能名額。
瀚博半導體 CEO 錢軍在釋出會上展示 SV102 晶片。
「我們要做的是伺服器級别的晶片，SV100 系列是全方位超過英偉達同類産品的晶片解決方案。」瀚博半導體創始人、CEO 錢軍在釋出會上說道。
本次推出的産品包括晶片 SV102，以及基于該晶片的 AI 加速卡 VA1，即将在今年第四季度投入量産。
雲端通用 AI 推理晶片
瀚博推出的 SV102 是 SV100 系列的首款晶片，它面向雲端的 AI 的通用化推理任務，INT8 算力高達 200TOPS，其内含多顆瀚博自主設計的 IP 核，配備通用軟體棧，對于雲計算客戶提供了完整的解決方案。
選擇推理作為突破點，是瀚博對于市場和業内競争力分析之後作出的決定。
随着 AI 應用的逐漸成熟，落地業務的增多，目前雲服務市場上推理任務的需求逐漸超過訓練。相關資料顯示，2021 年 AI 推理市場已超過訓練市場，未來其差距還會逐漸拉大。高通則認為到 2025 年将有 90% 的算力将被用于機器學習推理。
而在推理任務上，相對更加專精的 DSA 晶片性能顯著超過目前業内普遍采用的 GPU，前者可能會成為晶片領域的下一個發展方向。
瀚博提出的 SV100 系列晶片，對于視訊任務進行了特别的優化。目前，計算機視覺任務占據了 AI 市場的大部分，視訊流占據資料流的 70%，而且比例持續攀升。這些任務需要強大的視訊解碼能力，對于處理延遲、吞吐量和能耗效率提出了較高要求。
SV102 是一款高性能人工智能與視訊處理晶片，深度學習推理性能名額數倍于現有主流資料中心 GPU（如英偉達 T4、A10）。基于瀚博自研的，針對多種深度學習推理負載而優化的通用架構，該晶片支援計算機視覺、視訊處理、自然語言處理和搜尋推薦等推理應用場景，同時內建高密度視訊解碼，廣泛适用于雲端與邊緣解決方案，節省裝置投資、降低營運成本。
通用 AI 推理加速卡，效率超越英偉達
基于 SV102 晶片，瀚博推出了适用于雲伺服器的 VA1 機器學習加速卡，其提供高效率深度學習 AI 推理加速，在同等能耗下可以實作 2-10 倍于 GPU 的最高 AI 吞吐率，适合實時應用，同時兼備良好的通用性和可擴充性，支援 FP16, BF16 和 INT8 資料類型的衆多主流神經網絡快速部署——包括檢測，分類，識别，分割，視訊處理，LSTM/RNN，NLP/BERT，搜尋推薦等。
瀚博半導體 CTO 張磊向我們介紹了 VA1 加速卡的性能名額。
VA1 具備強大的視訊處理性能：支援 64 路以上 H264，H265 或 AVS2 1080p 解碼，分辨率支援最高達 8K。另一方面，作為标準半高半長 75W 功率的 PCIe 4.0 闆卡，VA1 适用于絕大多數伺服器，被動散熱且無需額外供電，可實作高密度的部署。
和英偉達最新釋出的安培架構 A10 闆卡對比，在 ResNet-50（int8）任務上，瀚博晶片在 75W 功率時效率是對手的兩倍以上。「即使英偉達的産品運作在 150W，我們的晶片運作在 75W 功率時性能也是超過它的，」張磊介紹道。「在 BERT int8 任務上，VA1 的性能也是 A10 在 75W 上的兩倍，T4 的兩倍多。」
如果以整體運作成本 TCO 的方式來計算，采用 VA1 的伺服器整機算力可以達到 T4 裝置的 2.5 倍以上，功耗卻相對更低，可以節省超過 60% 的伺服器成本。
除了硬體産品外，瀚博也搭建了自己的 VastStream 軟體平台，支援 TensorFlow、PyTorch、Caffe2 等主流深度學習架構模型。
今年 6 月，SV100 系列晶片宣布測試成功。瀚博創造的幾個數字引人關注：在開始測試後 8 分鐘全部點亮，在 40 小時之内，晶片所有功能子產品基礎測試全部完成。對于全新設計的高端晶片來說，這是一個奇迹。
「我們與重要合作夥伴快手的合作非常緊密。打造晶片必須了解客戶的實際需求，我們打造了高性能的資料中心，會把最新的闆卡插在伺服器裡，跑各類實際應用，驗證産品的性能。」錢軍表示。據介紹，目前已有多家國内外科技公司正在和瀚博合作，并等待晶片的大規模量産。
除了 SV102 以外，瀚博半導體還計劃推出功率為 15W 和 150W 的推理産品，覆寫更多市場。
「我們不是一個國産替代的故事，我們希望打造國際級别的産品。為了這樣的目的，我們組建了有能力的團隊。」錢軍說道。
瀚博半導體于 2018 年底成立于上海，目前在北京、深圳、多倫多等地均設有研發中心。
這家公司的核心團隊源自于 AMD，部分成員曾設計了業界首款 7nm 制程 GPU。自公司創立起，瀚博一直緻力于核心 IP 的自主研發，至今已完成多個 IP、高端設計流程，并擁有完善的資料中心建構能力。目前，瀚博的員工總數已超過 200 人。
在融資方面，2019 年 3 月，瀚博獲得了來自真格基金的天使輪融資，2019 年 7 月完成 Pre A 輪。2020 年 7 月，紅點、快手領投了該公司的 A 輪融資；最近一輪則在今年 3 月，由中國網際網路投資基金和經緯中國聯合領投，融資金額高達 5 億元人民币。
瀚博旗下首款晶片的推出，宣告了國内 AI 晶片業内又加入了一股強大的勢力。随着各家的 DSA 晶片不斷出爐，國内造芯的競争已經進入了全新的階段。