传说中的英伟达GH200在MLPerf 3.1中惊艳亮相,性能直接碾压H100,领先了17%。
继4月份加入LLM训练测试后,MLPerf再次迎来重磅更新!
刚刚,MLCommons发布了MLPerf v3.1版本更新,并加入了两个全新基准:LLM推理测试MLPerf Inference v3.1,以及存储性能测试MLPerf Storage v0.5。
而这,这也是英伟达GH200测试成绩的首次亮相!
相比于单张H100配合英特尔CPU,GH200的Grace CPU+H100 GPU的组合,在各个项目上都有15%左右的提升。
英伟达GH200超级芯片首秀
毫无疑问,英伟达的GPU在MLPerf Inference 3.1基准测试中表现是最亮眼的。
其中,最新发布的GH200 Grace Hopper超级芯片,也是首次在MLPerf Inference 3.1上亮相。
Grace Hopper超级芯片将英伟达的Grace CPU与H100 GPU集成在一起,通过超高的带宽连接,从而比单个H100配合其他的CPU能提供更强的性能表现。
「Grace Hopper首次展示了非常强劲的性能,与我们的H100 GPU提交相比,性能提高了17%,我们已经全面领先,」英伟达人工智能总监Dave Salvator在新闻发布会上表示。
性能大幅增长
具体来说,它将一个H100 GPU和Grace CPU集成在一起,通过900GB/s的NVLink-C2C连接。
而CPU和GPU分别配备了480GB的LPDDR5X内存和96GB的HBM3或者144GB的HBM3e的内存,集成了高达576GB以上的高速访问内存。