在全球超算大会(SC2023)上,英伟达宣布在AI芯片H100的基础上,发布新一代H200芯片。作为备受热捧的H100升级款,H200被称为“史上最强”芯片。以700亿参数的Meta大语言模型Llama2为例,H200推理速度几乎比H100提高2倍,而且能耗还降低了一半。
受此消息影响,英伟达股票实现连续第十个交易日上涨,创下了最长连涨纪录。截至11月14日收盘,英伟达股价为496.54美元,市值1.23万亿美元,均再创新高。
H200计划于2024年第二季度正式出货。届时,包括亚马逊,谷歌,微软等大型计算机厂商和云服务提供商将成为H200的首批用户,客源依然稳健。但由于美国方面的制裁,这款芯片依然无法输送给中国市场的客户。
今年开始,中国的科技巨头与创业者已经开发了约130个大模型,他们急需英伟达速度更快的GPU芯片来提供算力支撑。原本,黄仁勋认为他和英伟达可掌控一切——算力的源头就是芯片以及算力集群,英伟达也将持续享受最丰厚的利润,有分析师测算,H100芯片的利润率是1000%。但这一切在10月18日再次被打破。
10月18日,美国商务部进一步收紧对华芯片出口管制,被称为A100、H100“阉割版”的中国大陆市场特供版本A800和H800面临下架。更值得一提的是,原本禁令有30天缓冲期,但英伟达发布公告称,出口限制禁令在10月23日开始生效。
黄仁勋不忍心放弃中国市场。中国是全球人工智能芯片最重要的市场之一,英伟达在中国AI芯片市场占据了九成份额。在过去几个季度,中国市场支撑了英伟达约25%的营收,并且增长幅度以及利润都非常可观。
近日有消息称,英伟达将推出三款针对中国市场的HGX H20、L20 PCIe和L2 PCIe芯片,以满足美国对中国最新的芯片限制技术标准。据了解,三款产品针对的是训练、推理和边缘场景,量产时间为今年12月至明年1月。
有媒体报道,这三款AI芯片并非“改良版”,而是“缩水版”。其中,用于AI模型训练的HGX H20在带宽、计算速度等方面均有所限制,以符合美国最新的芯片禁令。截至发稿前,英伟达并未对大陆特供的“缩水版”芯片作出回应。
中国厂商会买单吗?HGX H20性能在H800的基础上大幅度缩水。
钛媒体报道称,理论上,HGX H20整体算力要比英伟达H100 GPU芯片降80%左右,即HGX H20等于H100的20%综合算力性能,而且增加HBM显存和NVLink互联模块以提高算力成本。所以,尽管相比H100,HGX H20价格会有所下降,但预计该产品价格仍将比国内华为的AI芯片910B高一些。
不过,国内厂商可能并没有其它选择,大概率会为这款低性能芯片买单。
一位芯片从业者告诉《中国企业家》,目前还没获得H20的确定报价信息,根据经验,H20的单位算力训练成本应该与H100接近或略高。时间、训练成本可以通过训练框架、算法的优化提升,可能会出现针对H20这类“阉割版”GPGPU的训练优化框架。
他还举例说,H100用于训练时,大部分算力是闲置的,没有专门优化的时候利用效率为20%左右。
“国内一些公司还会采购H20。目前华为、寒武纪和其他GPU厂商的生态适配成本及工程师学习成本明显高于英伟达,尤其在训练上英伟达的GPGPU系统互连方案还是目前的主流。