吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf记录居第一

快科技4月3日消息，NVIDIA在官网表示，在新的MLPerf V5.0基准测试中，NVIDIA的Blackwell平台取得了令人瞩目的成绩。MPL28资讯网——每日最新资讯28at.com

MLPerf是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台，它由图灵奖得主大卫·帕特森联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立，是权威性大、影响力广的国际AI性能基准测试。MPL28资讯网——每日最新资讯28at.com

新更新的MLPerf 添加了Llama 3.1 405B，这是大和难以运行的开放权重模型之一。MPL28资讯网——每日最新资讯28at.com

NVIDIA表示，虽然许多公司在其硬件上运行MLPerf基准测试以衡量性能，但只有NVIDIA及其合作伙伴提交并发布了Llama 3.1 405B基准测试的结果。MPL28资讯网——每日最新资讯28at.com

具体来看，GB200 NVL72系统通过连接72个NVIDIA Blackwell GPU，作为一个单一的超大GPU运行，在Llama 3.1 405B基准测试中，与H200 NVL8相比，实现了高达30倍的吞吐量提升。MPL28资讯网——每日最新资讯28at.com

据介绍，在生产环境中，推理部署通常受到两个关键指标的延迟限制：首次响应时间（TTFT）和每个输出令牌的时间（TPOT）。MPL28资讯网——每日最新资讯28at.com

新的Llama 2 70B Interactive基准测试将TPOT缩短了5倍，TTFT降低了4.4倍，模拟了更快的用户体验。MPL28资讯网——每日最新资讯28at.com

在这一测试中，NVIDIA使用8个Blackwell GPU的DGX B200系统，性能比使用8个H200 GPU的系统高出三倍，为这一更具挑战性的Llama 2 70B基准测试设定了新的高标准。MPL28资讯网——每日最新资讯28at.com

MPL28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-24-141080-0.html吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf记录居第一

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 撼讯RX 9070 XT GPU表面竟有1934个“坑”！温度高达113℃

下一篇： NVIDIA特供H20有了升级版：中国科技巨头已豪掷上千亿抢购