AI訓練、推理所需計算量呈指數級增長，2012年至今計算量已擴大30萬倍。以ChatGPT為代表的AI大模型需要使用海量資料進行訓練，對資料和帶寬的要求不斷提高，大容量伺服器DRAM和高帶寬記憶體HBM可有助于解決日益突出的存算失配問題。#人工智能#
處理AI大模型的海量資料需要寬廣的傳輸“高速公路”即帶寬來吞吐資料。
HBM（高帶寬存儲器）帶寬相比DRAM大幅提升。同時，得益于TSV技術，HBM的晶片面積較GDDR大幅節省，因而是最适用于AI訓練、推理的存儲晶片。#晶片#
2023年以來微軟、Meta、百度和位元組相繼推出基于生成式AI衍生的産品服務而積極加單。
TrendForce表示，從高階GPU搭載的HBM來看，英偉達高階GPU H100、A100主要采用HBM2e、HBM3。#英偉達#
随着英偉達的A100/H100、AMD的MI200/MI300、谷歌自研的TPU等需求逐漸提升，預估2023年HBM需求量将同比增長58％，2024年有望再增長約30％。#hbm#
關注樂晴智庫，洞悉産業格局！
HBM行業概覽
高帶寬存儲器（HBM）是傳統DRAM的一次技術性更新。
HBM可支援更高速率的帶寬，将多個DDR晶片堆疊并和GPU封裝在一起，是一種基于3D堆疊工藝的高價值量DRAM存儲器，并用多根資料線實作高吞吐高帶寬特性，例如HBM/HBM2用1024根資料線傳輸資料，而GDDR/DDR僅用32/64根。
HBM作為一種帶寬遠超DDR/GDDR的高速記憶體，将為大算力晶片提供能力支撐，同時生成類模型也會加速HBM記憶體進一步增大容量和增大帶寬。且HBM比GDDR5節省了94%的表面積，在記憶體的功耗效率上表現優異。
此外HBM堆棧不以外部互連線的方式與信号處理器晶片連接配接，而是使用額外的矽聯通層和晶片堆疊技術，内部的不同DRAM則采用TSV實作信号縱向連接配接。
HBM路線圖：
資料來源：海力士官網，半導體行業觀察，=
從技術角度看，HBM促使DRAM從傳統2D加速走向立體3D，充分利用空間、縮小面積，契合半導體行業小型化、內建化的發展趨勢。
HBM突破了記憶體容量與帶寬瓶頸，被視為新一代DRAM解決方案，業界認為這是DRAM通過存儲器層次結構的多樣化開辟一條新的道路，革命性提升DRAM的性能。
各大廠商DRAM技術路線：
資料來源：Yole，半導體行業觀察
HBM有兩個核心特征：DRAM顆粒以3D封裝方式垂直擺放；3D DRAM與GPU/CPU通過interposer合封，實作直接連接配接。
這兩個技術特征，目的是解決傳統DRAM與CPU/GPU通過主機闆（Motherboard）連接配接的信号延遲與電磁幹擾。
采用TSV技術垂直堆棧使得HBM内空間被充分利用，突破單一封裝内帶寬限制：
HBM市場競争格局
行行查 | 行業研究資料庫 資料顯示，HBM格局集中，SK海力士為全球龍頭，領跑高端HBM份額。SK海力士依托2013年HBM1以來10餘年的生産研發經驗，成功卡位全球最大供應商，市占率高達50%。
HBM競争格局&應用市場：三巨頭壟斷，受益于AI伺服器市場增長
資料來源：IT之家，TrendForce，新思界、方正證券
2014年，SK海力士與AMD聯合開發了全球首款矽通孔HBM産品。
自初代HBM1首次問世以來，HBM産品已經曆三次疊代，以SK海力士為首的海外頭部存儲企業是引領HBM産品疊代的主力軍。
HBM1不僅帶寬顯著高于同時期的DDR4和GDDR5産品，還具備外形尺寸小、消耗功率低的多重優勢，更能滿足圖形處理單元GPU等帶寬需求較高的處理器。
HBM2的主要增強功能之一是其僞通道模式，該模式将通道分為兩個單獨的子通道，每個子通道分别具有64位I/O，進而為每個存儲器的讀寫通路提供128位預取。
憑借HBM初代産品，海力士在高帶寬存儲市場上奪得先機。
SK海力士在2021年10月開發出全球首款HBM3，并于2022年正式向市場釋出，HBM3産品最高可堆疊晶片數目增至12枚，HBM3采用16通道架構，運作速度再次翻倍達6.4Gbps，尤其适用于AI、HPC等容量密集型應用。SK海力士是唯一量産新世代HBM3供應商。
目前SK海力士正在開發HBM4，預計新一代産品将在高性能資料中心、超級計算機和人工智能領域得到更廣泛的應用。
海力士作為HBM創始者具備先發優勢，預計在今年将有更多客戶導入HBM3的情況下，海力士整體HBM市占率有望進一步提升至53 %，而三星、美光則預計陸續量産，HBM市占率分别為38%及9%。
目前英偉達、AMD多款産品率先使用HBM顯存，NVIDIAH系列作為最早搭配有HBM3的GPU産品能大幅提升AI大模型的訓練速度。
值得注意的是，每一代新的DDR在容量、資料速率和功耗方面都有改進。然而，與此同時，子產品設計人員面臨着新的信号完整性挑戰，這使得在更高的速度下實作更高的子產品容量變得更加困難。為了解決這些問題，需要特定的記憶體條晶片。
資料來源：YOLE
記憶體拓展需求催漲CXL及PCIe晶片需求，國内主要相關廠商為瀾起科技。
瀾起科技的CXL記憶體擴充控制器（MXC）晶片是一款Compute Express Link™(CXL™) DRAM記憶體控制器，屬于CXL協定所定義的第三種裝置類型。
針對HBM記憶體相比DDR有局限的情況，瀾起科技的CXL晶片可為CPU及基于CXL協定的裝置提供高帶寬、低延遲的高速互連解決方案，進而實作CPU與各CXL裝置之間的記憶體共享，在大幅提升系統性能的同時，顯著降低軟體堆棧複雜性和資料中心總體擁有成本（TCO）。#5月财經新勢力#
相關布局廠商還包括納思達、兆易創新（國内Norflash存儲龍頭）、複旦微電（FPGA芯）、龍芯中科、長電科技，通富微電（封裝龍頭），深科技（國内最大的獨立DRAM記憶體晶片封測企業，全球第二大硬碟磁頭制造商）等。
關注樂晴智庫，洞悉産業格局！