本文由半導體産業縱橫（ID：ICVIEWS）編譯自eetimes
盡管GPU需求本身很大，但供給根本跟不上。
自2022年11月Open AI釋出ChatGPT以來，生成式AI（人工智能）需求在全球爆發式增長。這一系列AI應用運作在配備有NVIDIA GPU等AI半導體的AI伺服器上。
不過，根據中國台灣研究公司TrendForce在 2023年12月14日的預測，AI伺服器出貨量增幅不會如預期。預計2022年AI伺服器僅占所有伺服器出貨量的6%，2023年為9%，2024年為13%，2025年為14%，2026年為16%。（圖1）。
圖1.伺服器出貨數量、AI伺服器占比、AI晶片晶圓占比。來源：TrendForce
其原因被認為是人工智能半導體的限速供應。目前，NVIDIA的GPU壟斷了約80%的AI半導體，制造在台積電進行。在後續的流程中，會利用CoWoS進行封裝，但是CoWoS的産量目前是一個瓶頸。
另外，在CoWoS中，GPU周圍放置了多個HBM（高帶寬記憶體），這些HBM是堆疊的DRAM，這個HBM也被認為是瓶頸之一。
那麼，為什麼台積電的CoWoS（Chip on Wafer on Substrate）産能持續不足呢？另外，雖然有三星電子、SK海力士、美光科技三大DRAM廠商，但為什麼HBM也不夠呢？
本文讨論了這些細節。NVIDIA GPU 等 AI 半導體的短缺預計将持續數年或更長時間。
台積電的制造流程是什麼？
圖 2顯示了 NVIDIA 的 GPU 是如何在台積電制造的。首先，在預進行中，分别建立GPU、CPU、記憶體（DRAM）等。這裡，由于台積電不生産DRAM，是以似乎是從SK海力士等DRAM制造商那裡獲得HBM。
圖2.2.5D 到 3D 中出現的制造技術。來源：Tadashi Kamewada
接下來，将GPU、CPU、HBM等粘合到“矽中介層”上（Chip on Wafer，或CoW）。矽中介層具有預先形成的布線層和矽通孔(TSV)以連接配接晶片。
這一步驟完成後，将中介層貼到基闆上（Wafer on Substrate，簡稱WoS），進行各種測試，CoWoS封裝就完成了。
圖3顯示了CoWoS的橫截面結構。兩個邏輯晶片（例如 GPU 和 CPU）以及具有堆疊式 DRAM 的 HBM 被粘合到矽中介層上，矽中介層上形成有布線層和 TSV。中介層通過與銅凸塊連接配接到封裝基闆，并且該基闆通過封裝球連接配接到電路闆。
圖3.CoWoS結構和NVIDIA GPU等AI半導體的兩個瓶頸。來源：WikiChip
在這裡，我們認為第一個瓶頸是矽中介層，第二個瓶頸是HBM，這是導緻NVIDIA GPU短缺的原因。
矽中介層尺寸變得巨大
圖 4 顯示了自 2011 年以來 CoWoS 的換代情況。首先，我們可以看到，每一代的矽中介層都變得巨大。此外，安裝的 HBM 數量也在不斷增加。
圖4.每代HBM的轉接層面積和安裝數量增加。來源：台積電
圖 5 顯示了從 CoWoS Gen 1 到 Gen 6 的 12 英寸晶圓中安裝的 Logic 晶片類型、HBM 标準和安裝數量、矽中介層面積以及可獲得的中介層數量。
圖5. CoWoS 代次、HBM 安裝數量、12 英寸晶圓轉接層數量。
可以看出，自第三代以來，HBM的安裝數量持續增長了1.5倍。此外，HBM 的标準也發生了變化，性能也得到了提高。此外，随着中介層面積的增加，可以從 12 英寸晶圓獲得的中介層數量減少。
然而，這個采集數隻是“将12英寸晶圓的面積除以中介層的面積得到的值”，實際的采集次數要小得多。
2023 年釋出的第 6 代 CoWoS 轉接闆的面積為 3400 mm2，但如果我們假設它是一個正方形，它将是 58 mm × 58 mm。如果将其放置在 12 英寸晶圓上，晶圓邊緣上的所有轉接層都将有缺陷。然後，一個58 mm × 58 mm中介層最多隻能從 12 英寸晶圓上擷取 9 個晶片。
圖6. 12英寸晶圓能獲得多少個轉接層。來源：Tadashi Kamewada
此外，在中介層上形成布線層和TSV，但良率約為60~70%，是以從12英寸晶圓上可以獲得的良好中介層數量最多為6個。
使用這款轉接闆制作的 CoWoS 的代表性 GPU 是 NVIDIA 的“H100”，它在市場上競争激烈，交易價格高達 40,000 美元。
台積電的CoWoS産能不足
那麼，台積電的CoWoS制造産能有多大呢？
在 2023 年 11 月 14 日舉行的 DIGITIMES 研讨會“生成式 AI 浪潮中 2024 年全球伺服器市場的機遇與挑戰”中顯示，2023 年第二季度的産能為每月 13K~15K 件。據預測，2024 年第二季度月産量将翻倍至 30K~34K，進而縮小 NVIDIA GPU 的供需缺口。
然而，這種前景還很遙遠。這是因為，截至 2024 年 4 月，NVIDIA 仍然沒有足夠的 GPU。而TrendForce集邦咨詢在4月16日的新聞中表示，到2024年底，台積電的CoWoS産能将達到每月40K左右，到2025年底将翻倍。
此外，TrendForce集邦咨詢報道稱，NVIDIA将釋出B100和B200，但這些轉接闆可能比 58 mm × 58 mm還要大。這意味着從12英寸晶圓上可以獲得的優質中介層的數量将進一步減少，是以即使台積電拼命嘗試增加CoWoS産能，也無法生産足夠的GPU來滿足需求。
這款GPU CoWoS中介層的巨大和台積電産能的增加，無論走多遠都沒有止境。
有人建議使用515×510mm棱柱形有機基闆代替12英寸晶圓作為中介層。此外，美國的英特爾公司還提議使用矩形玻璃基闆。當然，如果可以使用大型矩形基闆，則可以比圓形12英寸晶圓更有效地獲得大量中介層。
然而，為了在矩形基闆上形成布線層和TSV，需要專用的制造裝置和傳輸系統。考慮到這些的準備工作，這需要時間和金錢。接下來解釋一下HBM的情況，這是另一個瓶頸。
HBM 的路線圖
如圖 4 和圖 5 所示，HBM 的數量随着 CoWoS 的産生而增加，這也導緻了中介層的巨大。DRAM制造商不應繼續制造相同标準的HBM。随着 CoWoS 的發展，HBM 的各種性能需要改進。HBM 的路線圖如圖 7 所示。
圖 7.HBM 路線圖和 HBM 堆疊的 DRAM 數量。來源：DIGITIMES Research
首先，HBM 必須提高每秒交換資料的帶寬，以配合 GPU 性能的提高。具體來說，2016 年 HBM1 的帶寬為 128 GB/s，而 HBM3E 的帶寬将擴大約 10 倍，達到 1150 GB/s，将于 2024 年釋出。
接下來，HBM 的記憶體容量 （GB） 必須增加。為此，有必要将堆疊在 HBM 中的 DRAM 晶片數量從 4 個增加到 12 個。下一代 HBM4 的 DRAM 層數預計将達到 16 層。
此外，HBM 的 I/O 速度 （GB/s） 也必須提高。為了同時實作所有這些目标，我們必須不惜一切代價實作DRAM的小型化。圖8顯示了按技術節點劃分的DRAM銷售比例的變化。2024 年将是從 1z （15.6 nm） 切換到 1α （13.8 nm） 的一年。之後，小型化将以 1 nm 的增量進行，例如 1β （12.3 nm）、1γ （11.2 nm） 和 1δ （10 nm）。
圖8.按技術節點劃分的DRAM銷售額百分比 。來源：Yole Intelligence
請注意，括号中的數字是該代DRAM晶片中實際存在的最小加工尺寸。
EUV也開始應用于DRAM
DRAM制造商必須以1nm的增量進行小型化，以實作高內建度和速度。是以，EUV（極紫外）光刻技術已開始應用于精細圖案的形成（圖9）。
圖9.DRAM廠商應用的EUV層數。來源：Yole Intelligence
最早在 DRAM 中使用 EUV 的公司是三星，在 1z 代中僅應用了一層。不過，這隻是借用了三星邏輯代工廠的一條每月最大産量為 10,000 片晶圓的巨大 DRAM 生産線來實踐 EUV 應用。是以，從真正意義上講，三星隻是從 1α 年開始在 DRAM 中使用 EUV，當時它在五層 DRAM 中使用了 EUV。
其次是在 HBM 領域市場佔有率第一的 SK hynix，它在 1α 生産時應用了 EUV。該公司計劃在 2024 年轉向 1β，并有可能在三到四層應用 EUV。是以，迄今隻有幾個 EUV 單元的 SK hynix 将在 2024 年之前推出 10 個 EUV 單元。同樣擁有邏輯代工廠的三星公司被認為将擁有超過 30 個 EUV 單元。
最後，美光公司一直奉行盡可能少使用 EUV 的戰略，以便比其他任何地方都更快地推進其技術節點。事實上，美光在 1 β 之前都不使用 EUV。在開發過程中，它還計劃在 1 γ 時不使用 EUV，而是使用 ArF 沉浸 + 多圖案技術，但由于它發現很難提高産量，因為沒有更多的比對空間，是以預計将從 1 γ 開始引入 EUV。
這三家 DRAM 制造商目前正在嘗試使用鏡頭孔徑為 NA = 0.33 的 EUV，但據認為，它們正在考慮從 2027-2028 年起改用高 NA。是以，DRAM 制造商的微型化程序仍将越走越遠。
現在，有多少 HBM 将采用這些最先進的工藝生産？
DRAM 出貨量和 HBM 出貨量
圖 10 顯示了 DRAM 出貨量、HBM 出貨量以及 HBM 占 DRAM 出貨量的百分比。如本節開頭所述，ChatGPT 于 2022 年 11 月釋出，進而使英偉達公司的 GPU 在 2023 年取得重大突破。
圖10.DRAM 出貨量、HBM 出貨量和 HBM 所占百分比。來源：Yole Intelligence
與此同時，HBM 的出貨量也迅速增長：HBM 的出貨量從 2022 年的 27.5 億美元（3.4%）增長到 2023 年的 54.5 億美元（10.7%），幾乎翻了一番，到 2024 年更是翻了一番，達到 140.6 億美元（19.4%）。
從 DRAM 的出貨量來看，2021 年由于對 Corona 的特殊需求而達到高峰，但 2023 年這種特殊需求結束後，出貨量急劇下降。此後，出貨量有望恢複，并在 2025 年超過 2021 年的峰值。此外，從 2026 年起，出貨量預計将繼續增長，盡管會有一些起伏，到 2029 年将超過 1500 億美元。
另一方面，HBM 的出貨量預計将在 2025 年後繼續增長，但 HBM 在 DRAM 出貨量中所占的份額将在 2027 年後達到 24-25% 的飽和狀态。這是為什麼呢？
各種 HBM 的發貨數量和 HBM 發貨總量
如圖 11 所示，通過觀察各種 HBM 的出貨量和 HBM 的總出貨量，可以揭開謎底。
圖11.各種 HBM 和所有 HBM 的出貨量。來源：Yole Intelligence
首先，在 2022 年之前，HBM2 是主要的出貨量。其次，2023 年，英偉達的 GPU 取得重大突破，HBM2E 取代 HBM2 成為主流。此外，HBM3 将在今年 2024 至 2025 年間成為主流。2026-2027 年，HBM3E 将成為出貨量最大的産品，而從 2028 年開始，HBM4 将扮演主角。
換句話說，HBM 将以大約兩年的間隔經曆世代更疊。這意味着 DRAM 制造商必須繼續以 1 納米為機關進行微型化，同時每兩年更新一次 HBM 标準。
是以，如圖 11 所示，2025 年後所有 HBM 的出貨量幾乎不會增加。這并不是因為 DRAM 制造商懈怠，而是因為他們必須盡最大努力生産最先進的 DRAM 和最先進的 HBM。
此外，2025 年後 HBM 出貨量不會大幅增長的原因之一是堆疊在 HBM 中的 DRAM 晶片數量将增加（圖 12）：随着 GPU 性能的提高，HBM 的記憶體容量（GB）也必須增加，是以堆疊在 HBM 2 和 HBM2E 中的 DRAM 數量将增加。HBM2 和 HBM2E 中堆疊的 DRAM 數量将增加到 4-8 個 DRAM，HBM3 和 HBM3E 中堆疊的 DRAM 數量将增加到 8-12 個，HBM4 中堆疊的 DRAM 數量将增加到 16 個。
圖12.每個 HBM 的記憶體容量（GB）和 HBM 中的 DRAM 晶片堆疊數。來源：Yole Intelligence
這意味着 HBM2 隻需要 4 到 8 個 DRAM，而 HBM4 将需要 2 到 4 倍的 DRAM，即 16 個 DRAM。這意味着，在 HBM4 時代，DRAM 制造商可以生産比 HBM2 多 2-4 倍的 DRAM，但出貨量仍與 HBM 相同。
是以，随着 DRAM 繼續以 1nm 的增量縮小，HBM 兩年換一代，HBM 中堆疊的 DRAM 數量每一代都在增加，預計從 2025 年起，HBM 的總出貨量将達到飽和。
那麼，HBM 的短缺會持續下去嗎？ DRAM 制造商是否無法進一步增加 HBM 的出貨量？
DRAM 制造商急于大規模生産 HBM
我們已經解釋了 DRAM 制造商無法大幅增加 HBM 出貨量的原因，但 DRAM 制造商仍然能夠達到他們的極限，倘若超過這個極限，他們就會嘗試大量生産 HBM。這是因為 HBM 的價格非常高。
圖 13 顯示了各種 HBM 和普通 DRAM 的每 GB 平均價格。普通 DRAM 和 HBM 在釋出時的每 GB 價格都是最高的。雖然趨勢相同，但普通 DRAM 和 HBM 的每 GB 價格相差 20 倍以上。為了比較普通 DRAM 和 HBM 的每 GB 平均價格，圖 13 中的圖表顯示了普通 DRAM 的 10 倍價格。
圖13.各種 HBM 和普通 DRAM 的每 GB 平均價格比較。來源：Yole Intelligence
與普通 DRAM 的 0.49 美元相比，比較每 GB 的價格，在剛剛釋出後的最高價格時，HBM2 的每 GB 價格大約是普通 DRAM 的 23 倍（11.4 美元），HBM2E 的每 GB 價格大約是普通 DRAM 的 28 倍（13.6 美元），HBM4 的每 GB 價格大約是普通 DRAM 的 30 倍（14.7 美元）。
此外，圖 14 顯示了各種 HBM 的平均價格。價格最高的 HBM2 為 73 美元，HBM2E 為 157 美元，HBM3 為 233 美元，HBM3E 為 372 美元，HBM4 則高達 560 美元。
圖14.各種 HBM 和标準 DRAM 的每 GB 平均價格比較。來源：Yole Intelligence
圖 15顯示了 HBM 的價格有多昂貴。例如，DRAM廠商在1z工藝中生産的16GB DDR5 DRAM最多為3~4美元。不過，今年，SK海力士釋出的HBM3E售價将比361美元高出90~120倍。
DDR（雙倍資料速率）是一種記憶體标準。資料傳輸速度越來越快，DDR5 的速度是 DDR4 的兩倍，DDR6 的速度是 DDR5 的兩倍。2024 年将是 DDR4 向 DDR5 轉變的一年，DRAM 制造商也必須不斷更新其 DDR 标準。
圖15.各種半導體工藝、晶片尺寸、半導體數量（位數）和平均價格的比較 。
回到 HBM，HBM3E 的晶片尺寸與最新 iPhone 17 的 A15 仿生 AP（應用處理器）大緻相同，後者采用台積電最先進的 3nm 工藝生産，但價格高出 3.6 倍。DRAM的HBM高于進階邏輯。這是令人震驚的。而由于價格如此之高，DRAM廠商将竭盡全力增加出貨量，以主導HBM的霸主地位。
讓我們來看看三家DRAM制造商的路線圖。
DRAM 制造商争奪 HBM
圖 16顯示了 2015~2024 年三家 DRAM 制造商如何生産 HBM。
圖16. SK 海力士、三星和美光的 HBM 路線圖。來源：DIGITIMES Research
HBM1 首次成功量産的是 SK 海力士。然而，就HBM2而言，三星比SK海力士率先實作量産。當 NVIDIA 的 GPU 在 2023 年取得重大突破時，SK海力士率先成功量産HBM3。這為SK海力士帶來了巨大的利益。
另一方面，另一家 DRAM 制造商美光最初開發了與 HBM 标準不同的混合記憶體立方體 （HMC）。然而，聯合電子器件工程委員會 （JEDEC） 是一個促進美國半導體标準化的行業組織，已正式認證了 HBM 标準而不是 HMC。是以，美光從2018年開始放棄HMC的開發，進入HBM的開發，遠遠落後于兩家南韓制造商。
是以，在HBM 的市場佔有率中， SK 海力士為 54%，三星為 41%，美光為 5%。
擁有最大HBM份額的SK海力士将于2023年開始在其NAND工廠M15生産HBM。此外，HBM3E 将于 2024 年上半年釋出。此外，在 2025 年，目前正在建設中的 M15X 工廠将專門為 HBM 重新設計，以生産 HBM3E 和 HBM4。
另一方面，想要趕上SK海力士的三星計劃于2023年在三星顯示器的工廠開始生産HBM，2024年将HBM的産能翻倍，并在SK海力士之前于2025年量産HBM4。
一直落後的美光的目标是在2024~2025年跳過HBM3，與HBM3E競争，并在2025年獲得20%的市場佔有率。此外，到2027~2028年，該公司還設定了在HBM4和HBM4E量産方面趕上南韓兩大制造商的目标。
這樣一來，三家DRAM廠商之間的激烈競争可能會突破HBM出貨量的飽和，進而消除HBM的短缺。
NVIDIA的GPU短缺會持續多久？
在本文中，我們解釋了 NVIDIA GPU 等 AI 半導體全球短缺的原因。
1、NVIDIA 的 GPU 采用台積電的 CoWoS 封裝制造。這個CoWoS的容量是完全不夠的。其原因是配備 GPU、CPU 和 HBM 等晶片的矽中介層每一代都變得越來越大。台積電正試圖增加這個中間工藝的容量，但随着GPU一代的推進，中介層也會變得巨大。
2、CoWoS 的 HBM 短缺。造成這種情況的原因是DRAM制造商必須繼續以1nm的增量進行小型化，HBM标準被迫每兩年更換一次，并且HBM中堆疊的DRAM晶片數量随着每一代的增加而增加。DRAM制造商正在盡最大努力生産HBM，但預計出貨量将在2025年之後飽和。然而，由于HBM的價格非常高，DRAM廠商之間競争激烈，這可能導緻HBM的短缺。
如上所述，有兩個瓶頸導緻 NVIDIA 的 GPU 短缺：台積電的制造産能短缺和 HBM 短缺，但這些問題不太可能在大約一年内得到解決。是以，預計未來幾年 NVIDIA 的 GPU 短缺将會繼續下去。
*聲明：本文系原作者創作。文章内容系其個人觀點，我方轉載僅為分享與讨論，不代表我方贊成或認同，如有異議，請聯系背景。