终结闭源霸权 Meta Llama 3.1横空出世！Intel第一时间适配并提供加速

快科技7月25日消息，日前Meta正式发布了Llama 3.1开源大模型，以其庞大的参数量和卓越性能，首次在多项基准测试中击败了GPT-4o等业界领先的闭源模型。NRG28资讯网——每日最新资讯28at.com

允许开发者自由地进行微调、蒸馏，甚至在任何地方部署，这种开放性为AI技术的普及和创新提供了无限可能。NRG28资讯网——每日最新资讯28at.com

Llama 3.1支持128k的上下文长度和多语言能力，无论是在基本常识、可操作性还是数学、工具使用和多语言翻译方面，都展现出了行业领先的能力。NRG28资讯网——每日最新资讯28at.com

紧随其后，芯片巨头Intel迅速响应，宣布其AI产品组合已全面适配Llama 3.1，并针对Intel AI硬件进行了软件优化。NRG28资讯网——每日最新资讯28at.com

包括了数据中心、边缘计算以及客户端AI产品，确保用户能够在Intel平台上获得佳的性能体验。NRG28资讯网——每日最新资讯28at.com

Intel的适配工作涵盖了PyTorch及Intel PyTorch扩展包、DeepSpeed、Hugging Face Optimum库和vLLM等，确保了从研发到部署的全流程支持。NRG28资讯网——每日最新资讯28at.com

NRG28资讯网——每日最新资讯28at.com

目前，Intel AI PC及数据中心AI产品组合和解决方案已面向全新Llama 3.1模型实现优化，OPEA（企业AI开放平台）亦在基于Intel至强等产品上全面启用。NRG28资讯网——每日最新资讯28at.com

根据基准测试，在第五代Intel至强平台上以1K token输入和128 token输出运行80亿参数的Llama 3.1模型，可以达到每秒176 token的吞吐量，同时保持下一个token延迟小于50毫秒。NRG28资讯网——每日最新资讯28at.com

在配备了酷睿Ultra处理器和锐炫显卡的AI PC上，进行轻量级微调和应用定制比以往更加容易，并且AI工作负载可无缝部署于CPU、GPU以及NPU上，同时实现性能优化。NRG28资讯网——每日最新资讯28at.com

基于第五代Intel至强可扩展处理器的Llama 3.1推理延迟NRG28资讯网——每日最新资讯28at.com

在配备内置Intel锐炫显卡的Intel酷睿Ultra 7 165H AI PC上，Llama 3.1推理的下一个token延迟NRG28资讯网——每日最新资讯28at.com

在使用Intel锐炫A770 16GB限量版显卡的AI PC上，Llama 3.1推理的下一个token延迟NRG28资讯网——每日最新资讯28at.com

基于Llama 3.1的端到端RAG流水线，由Intel Gaudi 2加速器和至强处理器提供支持NRG28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-17-103393-0.html终结闭源霸权 Meta Llama 3.1横空出世！Intel第一时间适配并提供加速

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 2024年《财富》中国500强排行榜揭晓：国家电网位居榜首 京东民企第一

下一篇： 精致女生坐高铁 带货网红大团建