Intel首批通过AISBench大模型性能测试！5代至强可达每秒2493 token

快科技9月5日消息，近日，第五代英特尔至强处理器，以优秀的表现通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试（AISBench）。XC628资讯网——每日最新资讯28at.com

借此，英特尔也成为首批通过AISBench大语言模型（LLM）推理性能测试的企业。XC628资讯网——每日最新资讯28at.com

XC628资讯网——每日最新资讯28at.com

在AISBench 2.0测试工具的评估下，第五代英特尔至强处理器在ChatGLM V2-6B（60亿参数）和Llama2-13B（130亿参数）两个模型上均展现了卓越的性能，能够满足轻量级大语言模型的实时推理要求。XC628资讯网——每日最新资讯28at.com

测试结果显示，在60亿参数的ChatGLM V2模型通用推理中，当输入输出序列为256时，处理器可达每秒2493 token的性能；当输入输出序列为2048时，性能为每秒926 token。XC628资讯网——每日最新资讯28at.com

在130亿参数的Llama2模型通用推理中，当输入输出为256时，性能为每秒513 token；当输入输出序列为2048时，性能为每秒132 token。XC628资讯网——每日最新资讯28at.com

XC628资讯网——每日最新资讯28at.com

AISBench 2.0的测试结果，验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能。XC628资讯网——每日最新资讯28at.com

也使得客户可以通过基于至强的服务器，构建一个通用AI系统进行数据预处理、模型推理和部署，从而获得兼具AI性能、效率、准确性和可扩展性的组合。XC628资讯网——每日最新资讯28at.com

同时还彰显了英特尔至强可以为企业提供“开箱即用”的功能，即可以在通用系统上部署一部分AI工作负载，从而为客户带来更佳的总体拥有成本（TCO）优势。XC628资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-24-111899-0.htmlIntel首批通过AISBench大模型性能测试！5代至强可达每秒2493 token

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 荣耀MagicBook Art 14新配色正式发布 冬日银辉这味儿对了！

下一篇： 首发4399元 明基新款27寸显示器开售：4K屏、90W反向供电