60亿参数AI模型测试：Intel 2.4倍领先！唯一可替代NVIDIA

快科技9月12日消息，MLCommons官方公布针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的 MLPerf推理v3.1的性能基准测试结果，Intel CPU处理器、AI加速器表现亮眼，在AI推理方面相当有竞争力。G5c28资讯网——每日最新资讯28at.com

此前6月份披露的MLCommons AI训练结果、Hugging Face性能基准测试成绩表明，Intel Gaudi2 AI加速器在先进的视觉语言模型上，表现完全可以超越NVIDIA H100 股加速器，堪称可唯一替代NVIDIA H100/A100的可行方案，新结果再次验证了这一点。G5c28资讯网——每日最新资讯28at.com

G5c28资讯网——每日最新资讯28at.com

GPT-J模型上，Intel Gaudi2加速器的GPT-J-99、GPT-J-99.9服务器查询和离线样本的推理性能分别为78.58次/秒、84.08 次/秒。G5c28资讯网——每日最新资讯28at.com

对比竞品，H100相较于Gaudi2只有1.09 倍（服务器）、1.28 倍（离线）的性能领先优势，Gaudi2对比A100的优势则可达2.4倍（服务器）、2倍（离线）的性能。G5c28资讯网——每日最新资讯28at.com

值得一提的是，Gaudi2提交的结果采用FP8数据类型，准确率达到99.9％。G5c28资讯网——每日最新资讯28at.com

Gaudi2软件每6-8周就会更新一次，将继续提升MLPerf基准测试性能，并扩大模型覆盖范围。G5c28资讯网——每日最新资讯28at.com

G5c28资讯网——每日最新资讯28at.com

同时，Intel提交了基于Sapphire Rapids第四代至强可扩展处理器的7个推理基准测试，其中就包括GPT-J模型。G5c28资讯网——每日最新资讯28at.com

结果显示，包括视觉、语言处理、语音和音频翻译模型，以及更大的DLRM v2深度学习推荐模型、ChatGPT-J模型在内，四代至强在处理通用AI负载时性能非常出色。G5c28资讯网——每日最新资讯28at.com

截至目前，Intel仍是唯一一家使用行业标准的深度学习生态系统软件提交公开CPU结果的厂商。G5c28资讯网——每日最新资讯28at.com

根据新结果，使用GPT-J对大约1000-1500字新闻稿进行100字总结的任务，四代至强在离线模式下每秒完成两段，实时服务器模式下则可完成每秒一段。G5c28资讯网——每日最新资讯28at.com

此外，Intel首次提交了至强CPU Max处理器的MLPerf测试结果，其集成多64GB HBM3高带宽内存，对于GPT-J而言是唯一能够达到99.9％准确度的CPU，非常适合精度要求极高的应用。G5c28资讯网——每日最新资讯28at.com

G5c28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-24-9392-0.html60亿参数AI模型测试：Intel 2.4倍领先！唯一可替代NVIDIA

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 6999元 将星X15 AT游戏本今日开售：140W满血RTX 4060

下一篇： 399元 雷蛇发布无线控制盘：铝合金打造、续航达8个月