华为发布 AI 推理创新技术 UCM：可实现高吞吐、低时延推理体验，计划 9 月开源

8 月 12 日消息，今日，华为正式发布 AI 推理创新技术 UCM（推理记忆数据管理器）。FDQ28资讯网——每日最新资讯28at.com

据了解，作为一款以 KV Cache 为中心的推理加速套件，UCM 融合了多类型缓存加速算法工具，分级管理推理过程中产生的 KV Cache 记忆数据，可扩大推理上下文窗口，实现高吞吐、低时延的推理体验，降低每 Token 推理成本。该技术已率先在中国银联“客户之声”“营销策划”“办公助手”三大业务场景中，开展智慧金融 AI 推理加速应用试点，并已取得成果。FDQ28资讯网——每日最新资讯28at.com

华为计划于 2025 年 9 月正式开源 UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有 Share Everything (共享架构) 存储厂商和生态伙伴。FDQ28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-26084-0.html华为发布 AI 推理创新技术 UCM：可实现高吞吐、低时延推理体验，计划 9 月开源

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 全球首只“机器藏羚羊”现身可可西里：由四足机器人“扮演”，可远距离观测藏羚羊行为

下一篇： 英特尔升级多显卡 AI 推理，Battlematrix 整体性能最高提升 80%