在人工智能领域，大语言模型的训练与推理成本一直是限制技术普及的关键因素之一。近日，北京大学人工智能研究院助理教授张牧涵团队在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的算力支持下，成功研发出一套高效的大模型训练推理架构，实现了百万 tokens 输入成本低至 1 元，为产业提供了高效能、低成本的解决方案。
此研究成果包括三项关键技术创新。首先，目前广泛使用的相对位置编码存在较大的稀疏性，团队通过将每个注意力头中的位置信息和非位置信息分离，对位置编码进行了低秩压缩，仅使用 3% 的位置信息，即可维持原有表达能力。该方法通过优化昇腾硬件的 flash-attention 算子，使得注意力头的参数得到更高效利用。
第二，非位置编码信息在原始模型中通常处于被抑制状态。通过将位置编码与非位置编码分离，非位置编码得到了较大的压缩空间。团队采用了联合 KV 的低秩压缩方法，仅保留 12.5% 的 KV Cache 即可维持原始模型的能力。这一方法能够有效利用昇腾硬件高效的计算能力，减轻访存压力，显著提升推理效率。
最后，基于昇腾硬件在出色的并行计算能力，团队实现的 Recurrent Decoding（RD）技术通过替换 LM-head 提升了训练数据利用率并加速了推理。在训练阶段，RD 通过将解码出的多个 tokens 与 target tokens 进行对比，实现了训练数据的高效利用；在推理阶段，结合投机推理显著提高了 tokens 的采样通过率，进而提升了推理速度。
这一成果得到了学术界的广泛关注，不仅为科研提供了可复用的高效架构，也为 AI 大模型在企业中的应用大幅降低了成本。自去年 6 月成立以来，北京大学与华为在产业前沿课题的联合攻关持续推进，本次成果验证了昇腾算力平台支撑尖端科研的技术实力。卓越中心将继续深入开展大模型关键技术创新，为构建中国技术生态提供坚实支撑。
本文链接：http://www.28at.com/showinfo-26-173985-0.html北大张牧涵团队依托昇腾突破推理效率瓶颈 大模型推理百万 tokens 成本仅 1 元
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
