GPU與人工智能
全球資料總量及資料中心負載任務量大幅上漲，資料中心算力需求快速增長。随着人工智能等新技術發展，海量資料的産生及其計算處理成為資料中心發展關鍵。據IDC資料，全球資料總量預計由2021年的82.47 ZB上升至2026年的215.99 ZB，對應CAGR達21.24%。其中，大規模張量運算、矩陣運算是人工智能在計算層面的突出需求，高并行度的深度學習算法在視覺、語音和自然語言處理等領域上的廣泛應用使得算力需求呈現指數級增長。
以模型中的參數數量衡量，大型語言模型的參數在過去五年中以指數級增長。随着參數量和訓練資料量的增大，語言模型的能力會随着參數量的指數增長而線性增長，這種現象被稱為Scaling Law。但當模型的參數量大于一定程度的時候，模型能力會 突 然 暴 漲， 模 型 會 突 然 擁 有 一 些 突 變 能 力（Emergent Ability），如推理能力、無标注學習能力等。例如GPT之前的大語言模型主流是深度神經網絡驅動，參數在數十億水準，而ChatGPT達到1750億參數。
随着網際網路時代對于資料量的積累，大資料背景下神經網絡成為機器學習的重要方法。2012年，深度卷積神經網絡AlexNet憑借在圖像分類識别領域中性能的大幅提升及錯誤率的大幅降低，成為人工智能的标志性事件。
在此過程中，其訓練者Alex Krizhevsky創新性地使用英偉達GPU成功訓練了性能有突破性提升的深度神經網絡AlexNet，進而開啟了新的人工智能時代。英偉達GPU伴随着深度學習模型訓練和推理所需要的大量算力成為了人工智能時代的新基礎設施。
ChatGPT引領全球人工智能浪潮，人工智能發展需要AI晶片作為算力支撐。從2018年起，OpenAI開始釋出生成式預訓練語言模型GPT以來，GPT更新換代持續提升模型及參數規模，當時GPT-1參數量隻有1.17億個。l2020年，OpenAI釋出GPT-3預訓練模型，參數量為1750億個，使用1000億個詞彙的語料庫進行訓練，在文本分析、機器翻譯、機器寫作等自然語言處理應用領域表現出色。
l2022年12月，OpenAI釋出基于GPT-3.5的聊天機器人模型ChatGPT，具有出色的文字聊天和複雜語言處理能力。ChatGPT的釋出引爆AI領域，海内外科技公司紛紛宣布釋出大語言模型，而使用者爆發式增長對大語言模型的算力需求同樣帶來挑戰，AI晶片成為算力提升關鍵。
lAI晶片又稱AI加速器或計算卡，是專門用于處理人工智能應用中大量計算任務的子產品。随着資料海量增長、算法模型趨向複雜、處理對象異構、計算性能要求高，AI晶片能夠在人工智能的算法和應用上做針對性設計，高效處理人工智能應用中日漸多樣繁雜的計算任務。
目前主流的AI晶片主要包括圖形處理器（GPU）、現場可程式設計門陣列（FPGA）、專用內建電路（ASIC）、神經拟态晶片（NPU）等。其中，GPU、FPGA均是前期較為成熟的晶片架構，屬于通用型晶片。ASIC屬于為AI特定場景定制的晶片。另外，中央處理器（CPU）是計算機的運算和控制核心，是資訊處理、程式運作的最終執行單元，是計算機的核心組成部件。
lGPU在訓練負載中具有絕對優勢。據IDC資料，1H21中國AI晶片市場佔有率中，GPU占比高達91.9%，依然是實作資料中心加速的首選。GPU通用型較強、适合大規模并行運算，設計和制造技術成熟，适用于進階複雜算法和通用性人工智能平台。
GPU（Graphics Processing Unit，圖形處理器）能夠并行計算的性能優勢滿足深度學習需求。GPU最初承擔圖像計算任務，目标是提升計算機對圖形、圖像、視訊等資料的處理性能，解決CPU在圖形圖像領域處理效率低的問題。由于GPU能夠進行并行計算，其架構本身較為适合深度學習算法。是以，通過對GPU的優化，能夠進一步滿足深度學習大量計算的需求。
典型GPU架構以及GPU與CPU的異同
典型GPU架構包括：
Ø一個GPU由多個Processor Cluster組成
Ø一個Processor Cluster由多個Streaming Multiprocessors組成
Ø一個Streaming Multiprocessors裡面可能包含多個Core，Streaming Multiprocessors中一定數量的Core共享一級緩存，多個Streaming Multiprocessors共享二級緩存
lCPU（Central Processing Unit，中央處理器）是計算機系統的運算和控制核心，是資訊處理、程式運作的最終執行單元。CPU的結構主要包括運算器（ALU，Arithmetic and Logic Unit）、控制單元（CU，Control Unit）、寄存器（Register）、高速緩存器（Cache）和之間通訊的資料、控制及狀态的總線。
l相同點：CPU和GPU都是運算的處理器，在架構組成上都包括3個部分：運算單元ALU、控制單元Control和緩存單元Cache。
l不同點：CPU為低延時設計，擅長處理邏輯複雜、串行的計算任務。CPU需要很強的通用性來處理各種不同的資料類型，同時又要邏輯判斷又會引入大量的分支跳轉和中斷的處理，是以CPU内部結構複雜，擅長邏輯控制和通用類型資料運算。
GPU為高吞吐設計，為大規模資料并行計算任務量身定做。GPU面對的則是類型高度統一的、互相無依賴的大規模資料和相對純淨的計算環境。GPU采用數量衆多的計算單元和超長流水線，擅長大規模并發運算。
英偉達是人工智能計算領域上司者，獨立GPU出貨量位居市場第一
l英偉達（NVIDIA）成立于1993年，總部位于美國加利福尼亞州聖克拉拉，是一家人工智能計算公司。公司作為加速計算的先驅，由最初專注于PC圖形計算，擴充到了各類重要大型計算密集型領域。公司利用其GPU産品和架構為科學計算、人工智能（AI）、資料科學、自動駕駛汽車（AV）、機器人、元宇宙和3D網際網路應用建立平台。
據Omdia資料，在2022年全球半導體收入前十公司中，英偉達排名第八，市場佔有率約3.5%。
l公司在全球獨立GPU市場及資料中心市場加速晶片中處于領先地位。據Jon Peddie Research（JPR）資料，4Q22英偉達獨立GPU出貨量占比為82%，位居市場第一；PC GPU出貨量占比為17%，僅次于全球最大的處理器廠商英特爾憑借其桌面端內建顯示卡優勢占據的最大份額。
股價經曆2016-2018年、2020-2021年、2022年9月以來三輪快速增長
公司發展曆史及收并購曆史
l1993年，黃仁勳等人共同創立了英偉達。1994年，公司與SGS-Thomson合作，為其制造單晶片圖形使用者界面加速器。1995年，公司推出首款産品NV1；而1998年釋出的RIVA TNT鞏固了公司在開發功能強大的圖形擴充卡方面的市場地位。此外，公司1998年與台積電簽約建立戰略合作關系，台積電開始協助制造公司産品。
l1999年，公司發明了圖形處理器，全球首款GPU GeForce 256誕生。公司發明GPU定義了現代計算機圖形學，由此走上了重塑行業的道路，确立了在該領域的上司地位。而此後，公司GPU産品出貨量快速增長，2002年處理器出貨量累計超1億台，2006年累計出貨超5億台，2011年累計出貨超10億台。
l2006年，公司推出用于通用GPU（GPGPU）計算的CUDA平台。軟體開發者可以通過該平台使用C語言編寫GPU片上程式完成複雜的計算。從G80開始，英偉達GPU體系結構已經全面支援通用程式設計，GPU實際脫離圖像處理的單一用途，成為了真正的通用GPU。
l自015年以後，随着AI浪潮迅猛推進，公司業務不斷多元化，向資料中心、遊戲、移動裝置、汽車電子等市場發展。2017年，公司專為資料中心和高性能計算打造Tesla V100GPU，為DGX系列AI超級計算機提供支援。FY23，公司來自于資料中心業務領域的收入超過遊戲領域業務，成為公司最大的收入來源。
公司通過收購不斷鞏固業務實力，拓展業務邊界。較為代表性的重要收購事件是收購3dfx公司。3dfx是一家專門研發與生産顯示卡與3D晶片的公司，在二十世紀九十年代末一直是顯示卡晶片的上司者，但3dfx因破産最終被公司所收購。此外，公司通過收購多家圖形渲染相關公司，鞏固自身在傳統圖形計算優勢領域的實力。2020年，公司收購高性能互聯技術領域龍頭Mellanox，産品布局從GPU擴充至兼具DPU
2016年，英偉達CEO黃仁勳向OpenAI親手傳遞了第一台NVIDIA DGX-1AI超級計算機，這也是支援ChatGPT大型語言模型突破背後的引擎。
l2018年，OpenAI向微軟提出“建立一個可以永遠改變人機互動方式的人工智能系統”的想法。為了建構支援OpenAI項目的超級計算機，微軟斥資數億美元，在Azure雲計算平台上将幾萬個NVIDIA A100晶片連接配接在一起，并改造了伺服器機架。在這台超算上，OpenAI訓練的模型不斷強大，為後來誕生ChatGPT奠定基礎。
l2022年11月，微軟宣布與英偉達聯手建構“世界上最強大的AI超級計算機之一”，來處理訓練和擴充AI所需的巨大計算負載。這台超級計算機基于微軟的Azure雲基礎設施，使用了數以萬計個Nvidia H100和A100 Tensor Core GPU，及其Quantum-2 InfiniBand網絡平台，可用于研究和加速DALL-E和Stable Diffusion等生成式AI模型。
2023年3月14日，微軟宣布加強和英偉達的合作，将GPU從此前的A100更新到H100，推出專門針對人工智能開發的全新的ND H100 v5虛拟機
摘自-國信證券-電子行業AI+系列專題報告（二）： 複盤英偉達的AI發展之路