自2012年以來，大規模的AI訓練所使用的資料集的計算量正以每年10倍的速度在增長。以ChatGPT為例，其在2022年11月的版本使用的參數是1750億個，而到了今年3月的版本使用的參數則達到了1.5萬億個。 為什麼訓練參數量越來越多，其背後的原因主要有三點：1、日益複雜的AI模型；2、大量可以被用于訓練的線上生成資料；3、人工智能應用對準确性和穩健性期望的持續提升。當我們把這些需求轉化為對記憶體的需求時，就意味着需要更高的帶寬，以及更高的容量。 事實上，目前算力向前演進可能不會有太多的挑戰，擺在業界面前更多的是存儲牆的問題，也就是記憶體、帶寬發展太慢了。這也就是為什麼英偉達在GPU架構無需調整的情況下，能讓H200推理速度達到了前代産品H100的兩倍主要原因。據悉，得益于HBM3e的搭載，H200顯示卡擁有141GB的記憶體和4.8TB/秒的帶寬。
圖 | 記憶體接口和互聯IP，圖源：Rambus
需求最終的表現會在市場，根據TrendForce釋出的資料顯示，2023年，AI行業主流需求已經從HBM2E轉向HBM3，HBM3需求占比提升至39%，預計2024年市場需求占比将達60%。而與非網記者也在Rambus接口IP産品管理和營銷副總裁Joe Salvador處證明了這一點。 說到記憶體、接口，我們不得不提到一家把存儲基因刻在名字中的企業——Rambus（Ram和bus分别代表存儲和安全快速傳輸）。 這家企業成立于上個世紀的九十年代，總部位于矽谷的聖何塞，其主要業務包括：基礎專業授權、半導體IP授權和晶片業務。其中半導體IP又主要分為接口IP和安全IP。Rambus的技術和産品面向資料中心和邊緣計算市場，以及汽車物聯網等細分市場。 根據Rambus釋出的财報顯示，2022年公司來自于晶片和IP的業務收入再創新高，其中來自産品的業務收入同比實作了58%的增長，同時經營現金流達到了2.3億美金。
圖 | Rambus資料中心解決方案，圖源：Rambus
Rambus能在2022年擁有如此亮眼成績的背後，是因為資料中心是其主要聚焦的市場，75%以上的晶片和IP業務收入都來自于資料中心。而近年來，資料中心賽道在大資料、人工智能、物聯網等行業需求的共同驅動下，發展迅速，且表現出持續性的增長趨勢。 在這樣的大背景下，Rambus于近日推出了HBM3記憶體控制器IP，可提供高達9.6 Gbps的性能，可支援HBM3标準的持續演進。相比HBM3 Gen1 6.4 Gbps 的資料速率，Rambus HBM3記憶體控制器的資料速率提高了50%，總記憶體吞吐量超過1.2 TB/s，适用于推薦系統的訓練、生成式AI以及其他要求苛刻的資料中心工作負載。
圖 | Rambus HBM3控制器子產品圖
據悉，Rambus HBM3記憶體控制器從即日起便可提供許可證。 而對于Rambus HBM3記憶體控制器是否能夠滿足市場上新推出的HBM3e需求，Joe Salvador認為：“确實，目前市場上幾家主流的記憶體廠商都宣稱有HBM3e記憶體，但從規格的角度上來講，目前所說的HBM3e還不是正式的行業标準，它是在HBM3基礎上的拓展，比較HBM3E和HBM3，可以發現其實堆棧的厚度沒有變化，支援的DRAM容量也沒有變化，變化的知識總帶寬。”
圖 | HBM記憶體的演變，圖源：Rambus
值得一提的是，Rambus前段時間将自己發展得非常好的PHY業務出售給了自己曾經的客戶Cadence，針對這一戰略性變化，Joe Salvador表示：“這一動作可以幫助Rambus更好地去跟其他的PHY合作夥伴合作，因為已經不構成跟他們直接的競争關系了，而是成為很好的上下遊的合作夥伴關系。” 此外，針對中國市場，Rambus大中華區總經理蘇雷表示：“今年以ChatGPT為代表的AIGC的發展，徹底帶火了AI晶片。我們看到在中國市場上也有一些新興公司，開始聚焦在AI訓練晶片上，目前我們正在跟這些雲廠商、AI晶片公司進行緊密地合作，今年主要是面向HBM3的項目。”