当前人工智能场景对AI服务器需求快速增长,算力在模型训练、推理速度、数据处理方面发挥重要作用。
根据Counterpoint 的全球服务器销售跟踪报告,2022年,全球服务器出货量将同比增长6%,达到1380 万台。收入将同比增长17%,达到1117 亿美元。根据IDC、中商产业研究院,大陆服务器市场规模由2019年的182亿美元增长至2022年的273.4亿美元,复合年均增长率达14.5%,预计2023年大陆服务器市场规模将增至308亿美元。#人工智能##服务器#
AI服务器
当前人工智能服务器的DRAM容量是普通服务器的8倍,NAND容量是普通服务器的3倍。
TrendForce 集邦咨询预计2023年AI服务器出货量同比增长可达8%;2022-2026 年复合增长率将达10.8%。根据IDC数据,2021-2025年全球AI服务器市场规模或以19.5%的CAGR由156亿美元增长至318亿美元。
关注乐晴智库,洞悉产业格局!
资料来源:TRENDFORCE
据TrendForce集邦咨询统计,2022年AI服务器采购占比以北美四大云端业者Google、AWS、Meta、Microsoft合计占66.2%为最,而中国近年来随着国产化力道加剧。
AI建设浪潮随之增温,以ByteDance的采购力道最为显著,年采购占比达6.2%,其次紧接在后的则是Tencent、Alibaba与Baidu,分别约为2.3%、1.5%与1.5%。
国内服务器主要厂商包括:工业富联、浪潮信息、超聚变、紫光股份(新华三)、中兴通讯、中科曙光等。
AI服务器目前领先厂商为工业富联和浪潮信息,浪潮信息在阿里、腾讯、百度AI服务器占比高达90%。
IDC发布的《2022年第四季度中国服务器市场跟踪报告Prelim》显示,前两名浪潮与新华三的变化较小,第三名为超聚变,从3.2%份额一跃而至10.1%,增幅远超其他服务器厂商。Top8服务器厂商中,浪潮、戴尔、联想均出现显著下滑,超聚变和中兴则取得明显增长。其中,浪潮份额从30.8%下降至28.1%;新华三份额从17.5%下降至17.2%;中兴通讯从3.1%提升至5.3%,位居国内第5。联想降幅最为明显,从7.5%下降至4.9%。
国内AI服务器竞争厂商包括:浪潮信息、新华三、超聚变、中兴通讯等。
AI服务器核心组件包括GPU(图形处理器)、DRAM(动态随机存取存储器)、SSD(固态硬盘)和RAID卡、CPU(中央处理器)、网卡、PCB、高速互联芯片(板内)和散热模组等。#芯片#
服务器的构成:
AI芯片
AI芯片是AI算力的“心脏”,AI服务器中芯片成本占比较高。
随着模型的多模态发展,参数规模和训练数据都呈现出指数级增长,
作为用于加速人工智能训练和推理任务的专用硬件,AI算力芯片既包括CPU、GPU、FPGA等传统芯片,也包括以TPU、VPU为代表的专门针对人工智能领域设计的ASIC芯片。
根据IDC统计,CPU、GPU、存储等芯片在各类服务器成本中的占比约75-90%,其中在机器学习型服务器中GPU的成本占比超七成。
GPU
GPU擅长并行计算且具有大量核心和高速内存,能够极大缓解计算层面的瓶颈,已经成为了当今主流的AI推理计算不可或缺的一部分,约占国内AI芯片市场份额的90%。
一台服务器通常需要4枚-8枚GPU,根据OpenAI训练集群模型估算结果,1746亿参数的GPT-3模型大约需要375-625台8卡DGX A100服务器(对应训练时间10天左右)。
一台GPU服务器的成本是普通服务器的10倍以上,GPU价格高涨直接带动服务器价格显著上修。以国产浪潮AI智能服务器为例,根据AI市场报价,其R4900G3规格产品含税价已高达55万元。
随着ChatGPT带来AI产业大热,相关产业对于AI算力硬件的需求也同步高涨。作为AI算力基础,以英伟达A100和H100 GPU为代表的产品成为抢手货。
英伟达芯片H100:
GPU是显卡的核心单元,采用数量众多的计算单元和超长的流水线,在加速方面具有技术优势。
GPU相较于比CPU更擅长并行计算,CPU是以低延迟为导向的计算单元,而GPU是以吞吐量为导向的计算单元,转为执行多任务并行。由于微架构的不同导致CPU绝大部分晶体管用于构建控制电路和缓存,只有小部分晶体管用来完成运算工作,GPU则是流处理器和显存控制用于绝大部分晶体管,从而拥有更强大的并行计算能力和浮点计算能力。
根据芯语的数据,相比于高性能服务器、通用服务器,AI服务器的芯片组(CPU+GPU)价格和成本占比通常更高,如AI服务器(训练)芯片组成本占比达83%、AI服务器(推理)芯片组占比为50%。
同应用市场中AI芯片的竞争格局:
英伟达、Intel等老牌海外厂商产品布局广泛,既有云端训练+推理芯片,又有终端应用的产品,根据JPR统计,2022Q4英伟达在全球独显GPU市场中的份额高达82%,Intel和AMD的市占率均为9%,海外龙头几乎垄断了高端AI芯片市场。
国内云计算技术人士认为,1万枚英伟达A100芯片是做好AI大模型的算力门槛,而为了支持实际应用、满足服务器需求,OpenAI已使用了约2.5万个英伟达的GPU。我们认为未来随着需求将进一步增加,或将进一步推高高性能AI芯片的价格。
英伟达数据中心GPU类别:
近年来,国内也出现了寒武纪、比特大陆、百度、地平线等优质本土厂商发力布局相关产品,展望未来,国内AI芯片公司仍有广阔成长空间。
芯片是人工智能发展的基础,把握芯片才能拥抱算力时代。根据IDC统计,CPU、GPU、存储等芯片在各类服务器成本中的占比约75-90%,其中在机器学习型服务器中GPU的成本占比超七成,可见AI时代离不开芯片的支撑。随着模型的多模态发展,参数规模和训练数据都呈现出指数级增长。
存储器
存储是计算机的重要组成结构: 存储器是用来存储程序和数据的部件,对于计算机来说,有了存储器才有记忆功能,才能保证正常工作。
存储器按其用途可分为主存储器和辅助存储器,主存储器又称内存储器(简称内存),辅助存储器又称外存储器(简称外存)。
根据TrendForce数据,AI服务器有望带动存储器需求增长,未来在AI模型逐渐复杂化的趋势下,将进一步刺激ServerDRAM、SSD与HBM的需求同步上升。就现阶段而言,AI服务器的ServerDRAM配置平均容量可达1.2-1.7TB之间,未来有望提升至2.2-2.7TB之间。其ServerSSD配置平均容量约4.1TB,未来有望提升至8TB。#5月财经新势力#
由于AI服务器较一般服务器增加了GPGPU的使用,因此现阶段对于HBM(HighBandwidthMemory,高带宽存储器)用量约为320-640GB,未来有望提升至512-1024GB。
AI浪潮带动服务器和算力芯片市场持续扩容,国产替代势在必行,本土厂商有望加速成长。
查行业数据,就用行行查!行行查 | 行业研究数据库