英伟达在AI推理领域再次刷新纪录。在被誉为”AI界最严苛大考”的MLPerf v6.0 AI推理基准测试中,英伟达凭借Blackwell Ultra架构(GB300 NVL72)实现了全方位碾压,推理训练Wins数量领先最接近的竞争对手9倍。
DeepSeek-R1推理速度飙升2.77倍
在备受瞩目的DeepSeek-R1服务器端测试中,英伟达交出了每秒每GPU处理8064个词元的成绩,与上一版本v5.1相比,处理速度大幅飙升2.77倍。
MLPerf v6.0新增了哪些测试?
本次v6.0版本引入了多个前沿模型测试,包括:GPT-OSS-120B大型开源语言模型、DeepSeek-R1交互模式(更贴近真实聊天体验)、Qwen3-VL-235B多模态视觉语言模型,以及WAN-2.2文生视频基准——这是该套件中首个文生视频测试。
性能对比数据
DeepSeek-R1(服务器模式):从2907提升至8064 tokens/sec/gpu,提速2.77倍;Llama 3.1 405B(服务器模式):从170提升至259 tokens/sec/gpu,提速1.52倍。
英伟达在AI推理领域的领先优势,正在进一步扩大。