加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI

快科技11月5日消息，近日，摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。rCE28资讯网——每日最新资讯28at.com

摩尔线程表示，正努力围绕自主研发的统一系统架构GPU、MUSA软件平台，构建完善好用的MUSA应用生态。 rCE28资讯网——每日最新资讯28at.com

vLLM是一个高效且易用的大模型推理和服务框架，支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等，可显著提高大语言模型（LLM）的推理性能。rCE28资讯网——每日最新资讯28at.com

目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。rCE28资讯网——每日最新资讯28at.com

摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。rCE28资讯网——每日最新资讯28at.com

rCE28资讯网——每日最新资讯28at.com

值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。rCE28资讯网——每日最新资讯28at.com

同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。rCE28资讯网——每日最新资讯28at.com

摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。rCE28资讯网——每日最新资讯28at.com

摩尔线程vLLM-MUSA开源地址：rCE28资讯网——每日最新资讯28at.com

https://github.com/MooreThreads/vLLM_musarCE28资讯网——每日最新资讯28at.com

rCE28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-24-123525-0.html加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 七彩虹显卡双11大促：全线优惠多500元、部分送1250W电源

下一篇： NVIDIA GPU卖脱销！黄仁勋要求SK海力士HBM4内存提前6个月交货