快科技2月14日消息，安谋科技宣布，搭载新一代“周易”NPU处理器的硬件平台，已经成功在端侧部署并运行DeepSeek-R1系列模型，而且性能卓越、成本优异。
新款“周易”NPU采用专为AI大模型特性优化的架构设计，Beta测试版本已在2024年底向早期用户开放评估测试，预计今年上半年正式发布亮相。
DeepSeek-R1 1.5B、7B蒸馏版本推出后，安谋科技新一代“周易”NPU在很短的时间内，就在Emulation平台上完成了部署与优化，并在FPGA平台上成功实现了端到端应用的演示。
测试显示，在标准单批次输入、上下文长度为1024的测试环境中，新款“周易”NPU在首字计算阶段的算力利用率突破40％，解码阶段的有效带宽利用率超过80％。
带宽利用率呈现高线性特性，能够灵活适配16GB/s至256GB/s的系统带宽需求。
7B版本、1024上下文长度的场景下，保障模型应用精度的同时，新款“周易”NPU的高处理速度可达每秒40 tokens，并支持动态长度的模型推理输入。
这也展现了安谋科技软件栈对大模型的成熟支持、深度优化，包括动态推理优化和硬件算力潜力的挖掘，从而显著提升推理速度和吞吐量。
目前，软件栈已支持Llama、Qwen、DeepSeek、ChatGLM、MiniCPM等多种主流大模型，并提供与Hugging Face模型库的对接工具链，方便直接部署主流模型。
硬件层面，新一代“周易”NPU采用7nm工艺制造，单Cluster算力高可达80 TOPS(每秒80万亿次计算)，能够轻松应对超过16K上下文长度的大模型部署需求，同时对外带宽提高至256GB/s，解决大模型计算的带宽瓶颈问题。
它还全面支持FP16数据精度计算，完整支持INT4软硬量化加速，还支持多核算力扩展，满足端侧模型的低首字延迟需求。
它还具备强大的多任务并行处理能力，通过细粒度的任务调度和优先级资源分配，实现多任务灵活切换，确保传统语音、视觉业务、大模型应用的高效协同。
本文链接：http://www.28at.com/showinfo-22-130640-0.html安谋科技下代“周易”NPU成功部署DeepSeek-R1：速度高达40 tokens/s
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
