当前位置:首页 > 科技  > 数码

加速国产GPU开发!摩尔线程开源高性能计算库MUTLASS

来源: 责编: 时间:2024-11-13 08:05:24 181观看
导读 快科技11月12日消息,摩尔线程宣布,正式开源高性能线性代数模板库MUTLASS,以便开发者能够更高效地针对摩尔线程GPU MUSA Core、Tensor Core等单元进行编程,加速基于国产GPU的算子开发以及算法创新。在此之前,摩尔

快科技11月12日消息,摩尔线程宣布,正式开源高性能线性代数模板库MUTLASS,以便开发者能够更高效地针对摩尔线程GPU MUSA Core、Tensor Core等单元进行编程,加速基于国产GPU的算子开发以及算法创新。Thm28资讯网——每日最新资讯28at.com

在此之前,摩尔线程已经相继开源OpenCV-MUSA计算机视觉库、MooER音频理解大模型、vLLM-MUSA大语言模型高速推理框架。Thm28资讯网——每日最新资讯28at.com

▼ MUTLASS开源地址:Thm28资讯网——每日最新资讯28at.com

https://github.com/MooreThreads/mutlassThm28资讯网——每日最新资讯28at.com

在数值计算和深度学习领域,矩阵乘法(GEMM)及其变种,比如FlashAttention、Convolution,是构建复杂上层应用的基石。Thm28资讯网——每日最新资讯28at.com

不够,为了追求更高的算子融合效率,或者更创新的算法,开发者们往往需要超越标准化计算接口的限制,如标准BLAS接口以及芯片厂商的计算库接口,以实现高性能的定制化算子。Thm28资讯网——每日最新资讯28at.com

MUTLASS(MUSA Templates for Linear Algebra Subroutines)正是为满足这一需求而设计。Thm28资讯网——每日最新资讯28at.com

作为摩尔线程专为自研MUSA架构优化的高性能计算库,MUTLASS是基于开源模板库CUTLASS进行的MUSA适配和定制化开发、优化。Thm28资讯网——每日最新资讯28at.com

针对矩阵乘法及相关变种,MUTLASS提供了一系列高性能的C++模板组件,并采用了与muDNN库类似的分层分解及数据搬运策略,以确保性能的充分发挥。 Thm28资讯网——每日最新资讯28at.com

在本次开源的版本中,摩尔线程适配了CuTe后端库,为其增加了第三代MUSA架构的MMA计算原语,支持TF32/FP16/BF16/INT8等多种数据精度,并以此为基础,初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。Thm28资讯网——每日最新资讯28at.com

借助MUTLASS,开发者们既可以灵活复用不同层级的模板组件,也可以按需修改各种模板组件的实现细节,以较低的开发成本实现定制化的高性能算子,从而在摩尔线程全功能GPU上充分释放性能,并尝试更多的算法创新。Thm28资讯网——每日最新资讯28at.com

摩尔线程将持续优化MUTLASS的性能,并不断引入新的功能。Thm28资讯网——每日最新资讯28at.com

加速国产GPU开发!摩尔线程开源高性能计算库MUTLASSThm28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-24-123455-0.html加速国产GPU开发!摩尔线程开源高性能计算库MUTLASS

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 一个应用整合所有功能!NVIDIA App正式版全面体验:逆天的RTX画质增强

下一篇: RTX 50系列已开工投产!RTX 40系列只剩一根独苗

标签:
  • 热门焦点
  • 一加Ace2 Pro真机揭晓 钛空灰配色质感拉满

    终于,在经过了几波预热之后,一加Ace2 Pro的外观真机图在网上出现了。还是博主数码闲聊站曝光的,这次的外观设计还是延续了一加11的方案,只是细节上有了调整,例如新加入了钛空灰
  • 7月安卓手机性价比榜:努比亚+红魔两款新机入榜

    7月登场的新机有努比亚Z50S Pro和红魔8S Pro,除了三星之外目前唯二的两款搭载超频版骁龙8Gen2处理器的产品,而且努比亚和红魔也一贯有着不错的性价比,所以在本次的性价比榜单
  • 轿车从天而降电动车主被撞身亡 超速抢道所致:现场视频让网友吵翻

    近日,上海青浦区法院判决轿车从天而降电动车主被撞身亡案,轿车车主被判有期徒刑一年。案件显示当时男子驾驶轿车在上海某路段行驶,前车忽然转弯提速超车,
  • 把LangChain跑起来的三个方法

    使用LangChain开发LLM应用时,需要机器进行GLM部署,好多同学第一步就被劝退了,那么如何绕过这个步骤先学习LLM模型的应用,对Langchain进行快速上手?本片讲解3个把LangChain跑起来
  • 一篇聊聊Go错误封装机制

    %w 是用于错误包装(Error Wrapping)的格式化动词。它是用于 fmt.Errorf 和 fmt.Sprintf 函数中的一个特殊格式化动词,用于将一个错误(或其他可打印的值)包装在一个新的错误中。使
  • JVM优化:实战OutOfMemoryError异常

    一、Java堆溢出堆内存中主要存放对象、数组等,只要不断地创建这些对象,并且保证 GC Roots 到对象之间有可达路径来避免垃 圾收集回收机制清除这些对象,当这些对象所占空间超过
  • 东方甄选单飞:有些鸟注定是关不住的

    文/彭宽鸿编辑/罗卿东方甄选创始人俞敏洪带队的“7天甘肃行”直播活动已在近日顺利收官。成立后一年多时间里,东方甄选要脱离抖音自立门户的传闻不绝于耳,“7
  • 8月见!小米MIX Fold 3获得3C认证:支持67W快充

    这段时间以来,包括三星、一加、荣耀等等有不少品牌旗下的最新折叠屏旗舰都得到了不少爆料,而小米新一代折叠屏旗舰——小米MIX Fold 3此前也屡屡被传
  • 小米MIX Fold 3配置细节曝光:搭载领先版骁龙8 Gen2+罕见5倍长焦

    这段时间以来,包括三星、一加、荣耀等等有不少品牌旗下的最新折叠屏旗舰都得到了不少爆料,而小米新一代折叠屏旗舰——小米MIX Fold 3此前也屡屡被传
Top