天天看点

NVIDIA公布H100白皮书:详细介绍核心架构

英伟达在3月下旬发布了采用全新Hopper架构的H100,拥有NVIDIA当前最强的GPU规格。英伟达H100核心架构与上一代Ampere相似,数学运算部分布置在144组CUDA上,最高可拥有18432个FP32(单精度)、9216个FP64(双精度)CUDA核心,辅以576个第四代Tensor核心。

NVIDIA在5月初曝光的白皮书,让外界对Hopper架构有进一步了解。H100核心采用台积电的N4工艺制造,内建800亿个晶体管,核心面积仅有814m㎡。作为对比,上代的A100核心采用台积电7nm工艺制造,在826m㎡的核心内建542亿个晶体管。

NVIDIA公布H100白皮书:详细介绍核心架构

作为面向专业计算的GPU,H100采用HBM3高带宽显存,NVIDIA将六颗HBM3高带宽显存堆栈在核心两侧。核心内建5120-bit的HBM3显存位宽,英伟达可配置最高80GB显存,SXM5版(HBM3显存)带宽更是达到3TB/s,PCIe版本(HBM2e)则是2TB/s。

NVIDIA公布H100白皮书:详细介绍核心架构

H100的主机接口同样迎来升级,SXM外形的PCB板配备新一代NVLink,拥有900GB/s的带宽。面对AIC插卡版本采用PCIe 5.0 x16(拥有128GB/s)接口,两者均引入了资源池(resource-pooling)功能,加速GPU之间的数据交换。

NVIDIA公布H100白皮书:详细介绍核心架构

虽然H100拥有144组单元,但SXM版也只启用其中的132组单元。PCIe版本更是只有114组,两者的最高频率均为1.8GHz。不仅如此,H100核心的功率高达700W,PCIe版本也达到350W,上一代的A100仅为400W;在提升性能的同时,H100的功耗也在大幅上升。

NVIDIA公布H100白皮书:详细介绍核心架构

编辑点评:NVIDIA H100的白皮书更详细的解析了H100的核心架构,剖析了核心的内部架构、设计理念。H00核心的公布,对即将在下半年到来的Ada Lovelace具有相当高的参考价值,NVIDIA大概率在H100的CUDA基础上,对架构进行微调,以适应游戏需求。

继续阅读