·对比备受热捧的H100芯片,新的H200完成了1.4倍内存带宽和1.8倍内存容量的升级,提高了处理密集生成式人工智能负载的能力。据介绍,在处理Meta的大语言模型Llama2(700亿参数)时,H200的推理速度比H100提高了2倍。
·第一批H200芯片将于2024年第二季度上市。
英伟达芯片
第一批H200芯片将于2024年第二季度上市。
北京时间11月14日凌晨,英伟达在今年的SC23大会上突然宣布,推出新的顶级AI芯片HGX H200。第一批H200芯片将于2024年第二季度上市。
英伟达又一次自己超越自己,H200取代H100成为新的世界最强AI芯片。
对比备受热捧的H100芯片,这款新的GPU(图形处理单元)完成了1.4倍内存带宽和1.8倍内存容量的升级,提高了处理密集生成式人工智能负载的能力。据介绍,在处理Meta的大语言模型Llama2(700亿参数)时,H200的推理速度比H100提高了2倍。
从外观上看,H200似乎与H100基本相同。内存方面,H200芯片是第一款采用HBM3e(新型超高速高带宽内存)的GPU。HBM3e可加速生成式AI和大语言模型工作负载,将GPU的内存带宽提高到每秒4.8TB,而H100为每秒3.35TB,同时将其总内存容量提高到141GB,而其前身为80GB。与再前一代的A100相比,其容量翻倍,带宽增加2.4倍。
对于高性能计算(HPC),显存带宽也至关重要,其可以实现更快的数据传输,减少复杂任务的处理瓶颈。对于模拟、科学研究和人工智能等显存密集型HPC应用,H200更高的显存带宽可确保高效地访问和操作数据。据介绍,相较于H100,H200在处理高性能计算的应用程序上有20%以上的提升。