但更秀的是,没人会因此质疑他们违反广告法,因为在 AI 时代,对手们真只能眼巴巴地看着英伟达的车尾灯。
从英伟达官方透露的数据来看, H200 最强的就是在大模型推理表现上。
以 700 亿参数的 LLama2 大模型为例, H200 推理速度几乎比前代的 H100 快了一倍,而且能耗还降低了一半。
能取得这么强的成绩,自然是 H200 的硬件给力。
从参数方面看, H200 的主要提升就是把上一代 “ G 皇 ”H100 的显存,从 80GB 拉到了 141GB ,带宽从 3.35TB/s 增加到了 4.8 TB/s 。
而这些进步则主要要归功于HBM3e 内存技术。
今年 8 月的时候, SK 海力士推出 HBM3e 之后,据宣称单颗带宽可以达到 1.15TB/s ,相当于在 1 秒钟内传输了 230 部 FHD 高清电影(每部容量 5G )。
在 SK 海力士官宣 HBM3e 之后不久,包括三星、美光在内的内存厂商们,都陆续跟进了这一技术。