編譯 | 王傲翔
編輯 | 程茜
芯東西4月11日消息，美國半導體行業雜志EE Times（《電子工程專輯》）周二報道，在2023年生成式AI熱潮下，随着HBM3的量産，适用于AI應用與資料計算的HBM記憶體的功耗受到越來越多關注。
随着AI技術的迅猛發展，企業對AI伺服器記憶體帶寬的需求正持續上升，但資料中心電力成本的不斷上漲使企業開始将每瓦帶寬作為重要的名額。企業在選擇記憶體時面臨成本和性能的平衡考量。
作為能夠滿足AI對高帶寬記憶體需求的關鍵技術，HBM成為企業的首選記憶體。美光、三星等HBM供應商正探索創新解決方案，降低HBM功耗，確定HBM在未來高性能計算和AI應用中發揮關鍵作用。
EE Times專訪了美國著名半導體技術供應商Rambus矽IP産品營銷進階總監Lou Ternullo、美國市場研究和咨詢公司Objective Analysis首席分析師Jim Handy、全球最大半導體IP接口供應商新思科技進階産品經理Graham Allan、以及美光産品管理進階總監Girish Cherussery，讨論了在目前AI持續發展下，HBM面臨的功耗問題和供應商可以采取的技術措施等話題。
一、電力能耗持續上漲，記憶體選擇受到成本限制
Lou Ternullo在接受采訪時稱，AI對記憶體帶寬的需求不斷增加，與HBM帶寬的增加直接相關。他說：“在整個市場上，我們看到資料集和訓練模型的參數越來越大，2023年的生成式AI熱潮隻是加速了這一趨勢。”
他認為，人們對AI伺服器的性能、記憶體帶寬和記憶體大小等需求呈指數級增長，這給下一代HBM帶來了更高的期望和壓力。
此外，雖然每瓦帶寬這一概念并不新鮮，HBM對每瓦帶寬進行了優化以提高伺服器效率，但AI資料中心的能耗一直在上升。Ternullo稱：“2023年各企業對生成式AI的巨額投資和部署讓一些人預測到2026年資料中心的用電量将翻一番。”
Ternullo補充說，資料中心快速增長的電力成本意味着，對于需要監控營運成本的企業來說，每瓦帶寬正在成為一個更加重要的名額。随着社會對可持續發展倡議的日益關注，這一點變得更加重要。
與HBM相關的高成本和記憶體本身的高價格意味着，在決定超大功率記憶體是否需要應用時，企業總體擁有成本成為決定性因素，即企業整個資料中心的成本之和。客戶在決定需要哪種記憶體時，首先會考慮記憶體的密度、性能和功耗等因素。
二、AI性能需求沒有上限，HBM成AI伺服器最佳記憶體
與其他存儲晶片相比，AI或機器學習是極少數能夠将更昂貴的HBM商業化的應用之一。Ternullo稱：“像AI這樣的應用對記憶體帶寬有着無盡的渴求，這些應用能為企業帶來更高的投資回報率，這就證明了HBM成本較高的合理性。”
不過，AI需求增加并不直接導緻HBM成本上升。這是因為，AI需求主要推動企業對GPU使用的增加，但GPU通常需要HBM的使用才能達到AI伺服器的預期性能。
Jim Handy稱，企業需要明确的使用HBM的理由。對于某些圖形應用，類似AMD這樣的公司會在某些GPU上使用GDDR顯存，因為GDDR相較HBM更加便宜。
Handy解釋，在AI場景外，GPU主要用于圖形處理，尤其是用于遊戲和計算機動畫後期特效。他說：“許多公司都在使用GPU，而且數量還不少。他們會有一個裝滿GPU的大型資料中心。”雖然GDDR最初為圖形工作而設計，但多年來的新興應用已使其他應用場景對GDDR産生了競争性需求。
同樣，Graham Allan認為，考慮到AI發展，昂貴的HBM現在也很難買到。雖然HBM仍有邊緣應用，但大部分應用集中在AI領域。
即使HBM的第三次疊代已進入大批量生産階段，Allan也不認為這項技術已經成熟。“HBM在DRAM方面是獨一無二的，因為它是唯一不安裝在處理器旁邊主機闆上的DRAM。”他說，“不過，HBM的2.5D封裝技術需要額外的技術步驟，這給整個行業帶來了挑戰。”
三、HBM需要內建在處理器上，多家供應商抓緊量産
Allan認為DRAM的實作非常簡單。他說：“如果你想設計一個具有DDR5接口的SoC，你可以去檢視開源的任何一種參考設計，例如找到英特爾準許的DDR5 DIMM，便可獲得所有零部件号。這是一項成熟的技術。”
但對于HBM來說，包括DRAM在内的所有部分都封裝在SoC内。企業可以從美光、三星和SK海力士等多家供應商中選擇HBM，同時必須解決如何設計Interposer（中介層）組裝以及其他問題，包括信号路徑和信号完整性。
新思科技為客戶提供控制HBM所需的IP，包括控制器（Controllers）、實體層接口（PHY）以及驗證IP（verification IP）。Allan說：“客戶正在尋求在HBM專業技術和特定參考設計方面的幫助。我們共享參考設計方案和一些最常見的中介層技術。此外，我們還協助矽片測試，包括中介層及元件的連接配接。這樣一來，我們可以為客戶提供完全定制的測試晶片。”
他認為矽片測試對于HBM尤為重要，因為企業一旦投入設計并将HBM應用到系統中，再進行更改就會非常耗時。
“HBM正在走向成熟，但仍遠不及DDR和LPDDR技術成熟。盡管HBM4的邏輯方法與HBM3相似，但從DDR4到DDR5是一個巨大的飛躍。”Allan說，“選擇使用HBM是一項重大承諾，因為它更加複雜，而且是一種低容量産品。客戶希望盡可能降低決策風險。”
Allan還稱，客戶之是以選擇HBM，是因為其他産品都無法滿足他們的要求。在HBM之下，對于一些應用來說，GDDR記憶體可能是足夠的，并且GDDR7的容量是GDDR6的兩倍，資料傳輸率也有所提高。但資料傳輸率高是因為資料傳輸的通道相對較窄。
“你可以達到更高的資料傳輸率，但你必須非常小心地設計你的系統，因為你的系統運作速度非常快。”他說。
不過，GDDR7是2026年的技術，并且去年推出的HBM3帶寬潛力較GDRR7還要高出3倍。Allan認為帶寬的發展空間非常大。
他補充道，這并不意味着這樣的帶寬潛力足夠滿足企業對AI的需求，并且還有其他因素在影響整個伺服器能完成多少任務。例如，中介層有可能成為瓶頸。如果伺服器的PCB布線不佳，串擾過多，那麼伺服器性能最終可能會下降。
微電子産業上司标準機構固态技術協會（JEDEC）目前正在制定HBM4規範，但不願說明這一規範的進展情況。SK海力士副總裁金基泰（Kim Chun-hwan）在2024年南韓半導體展（Semicon Korea 2024）上發表主題演講時透露，該公司計劃在2026年之前開始量産HBM4。
美光最近開始量産其HBM3E記憶體，今年HBM産能已基本售罄。該公司的首款HBM3E具備8層堆疊和24GB容量，并具有1024位接口、9.2GT/s的資料傳輸速率和1.2TB/s的總帶寬。
▲美光HBM3E規格（圖源：Micron Technology）
四、資料中心更加注重功耗，美光、三星采用不同方式降低記憶體功耗
Girish Cherussery稱，HBM剛進入市場時，美光審查了HBM适用的工作負載，并決定将HBM性能目标定為比行業需求高出30%。“我們是經得起未來考驗的。”Cherussery說，“一個關鍵名額是每瓦性能，這是一個關鍵的功耗邊界條件。我們專注于確定每瓦性能顯著提高。” 此外，客戶還希望HBM靠近計算單元。
Cherussery解釋道，包括大語言模型在内的許多AI工作負載正變得越來越受記憶體限制，而不是受計算限制。如果你的伺服器有足夠的計算能力，那麼伺服器記憶體帶寬和容量就會成為制約因素。AI工作負載給資料中心帶來了很大壓力。
此外，記憶體使用率高意味着記憶體功率是資料中心的耗電大戶，是以節省5瓦的電量就能提高記憶體利用的效率。越來越多的資料中心看重瓦特數而不是伺服器的數量。使用HBM時，冷卻HBM也是一個重要因素，因為它是一種堆疊式記憶體。HBM運轉産生的熱量需要散發出去。
除了帶寬、功耗和整體散熱情況外，易于內建是所有HBM最關鍵的特性。Cherussery稱，美光擁有自己的專利，可以将其HBM內建到主機系統中。
“業界已經為HBM3E做好了準備，它可以很容易地被內建到使用HBM的系統中。”他說，“我們的産品可以無縫內建到相同的插槽中，無需任何改動。它的占位面積與上一代産品相同。”
更高的帶寬和更大的容量将是HBM4的特點。随着AI大模型的增長，企業對HBM容量和帶寬的要求也呈線性增長。
“記憶體行業整體處于一個有趣的階段，因為從未出現過某種工作負載如生成式AI和普通AI一般，與記憶體帶寬和記憶體容量的增長呈線性關系。這意味着對于計算和記憶體，企業将不得不開始考慮與過去略有不同的系統。資料中心本身正變得越來越異構。”他說。
三星也見證了資料中心裡異構計算和更多以AI為重點的服務的顯著增長。負責三星産品規劃和業務支援的副總裁金仁東（Indong Kim）說：“這種增長似乎與同時提供直接和間接AI解決方案的超大型企業的崛起相吻合。”
他認為，資料中心正在不斷發展，以便将計算資源的最大潛力用于包括AI在内的特定工作負載，實作這樣潛力的重點在于DRAM帶寬和容量。尤其令人興奮的是，采用CPU和專用加速器這兩種不同類型處理器的異構架構，在提升記憶體方面的目标是一緻的。他相信，這一趨勢将為DRAM制造商提供巨大的增長機會。
在Memcon 2024大會上，三星展示了該公司所稱的全球首款12堆棧HBM3E DRAM。它采用了三星先進的熱壓非導電膜（TC NCF）技術，内部垂直密度較前代産品提高了20%以上，同時還提高了産品良率。随着大規模并行計算在高性能計算（HPC）環境中越來越普及，Kim稱HBM需求還将激增。
三星的HBM3E DRAM專為滿足高性能計算和苛刻的AI應用而設計。該公司還推出了基于Compute Express Link（CXL）開放互連協定的Memory Module-Box（CMM-B）記憶體盒模組，旨在支援需要大容量記憶體的應用，例如AI、記憶體資料庫和資料分析。CMM-B還支援記憶體池（memory pooling），這是異構計算的一個關鍵要素。
▲三星推出CXL Memory Module-Box記憶體盒模組（圖源：Samsung Electronics）
金仁東稱，AI對記憶體容量和帶寬的需求不斷增長，模型的參數規模不斷增長，加速了存儲晶片玩家對不同存儲技術研發的步伐。CXL協定與HBM互相交織，為應對不斷增長的AI需求提供最佳特性，促進現有的DRAM-SSD存儲層次結構的發展。
他說：“我們相信，CXL将成為不斷增長的容量需求的完美補充，提供最佳特性，彌合現有的DRAM-SSD層次結構。”
結語：HBM發展前景廣闊，幫助企業降低成本
随着AI對記憶體帶寬需求的持續增長，HBM作為一種高性能記憶體技術受到越來越多的關注。盡管HBM面臨着成本高、內建複雜等挑戰，但其在AI資料中心和其他應用場景中的重要性不斷凸顯。HBM供應商也在采取不同的技術降低HBM功耗，以幫助節省資料中心電力成本。
在此背景下，HBM逐漸走向成熟，但仍需面臨DDR和LPDDR等成熟技術的挑戰。随着HBM4、HBM3E的開發和部署，預計HBM将繼續在高性能計算和AI應用中發揮重要作用。