连续无故障训练15天！摩尔线程发布夸娥智算集群KUAE 1.2

快科技8月19日消息，摩尔线程正式发布了夸娥智算集群KUAE 1.2版本，通过软硬件层面的综合性优化，在功能、性能上多维升级，更高效、稳定，对生态系统更友好，可为大模型训练提供更坚实可靠的算力支撑。JZa28资讯网——每日最新资讯28at.com

夸娥1.2主要升级点：JZa28资讯网——每日最新资讯28at.com

▼MFU提升10% 高可达55%JZa28资讯网——每日最新资讯28at.com

在新版本中，使用千卡集群训练千亿模型，MFU(模型算力利用率)提升10%。JZa28资讯网——每日最新资讯28at.com

稠密模型集群训练中，MFU高达到55%。JZa28资讯网——每日最新资讯28at.com

▼Flash Attention2优化JZa28资讯网——每日最新资讯28at.com

通过集成新的MUSA SDK平台与优化后的Flash Attention2技术，结合新版Torch MUSA和算子融合，显著提升了大模型训练的效率与资源利用率，大幅缩短训练周期，并降低了整体成本。JZa28资讯网——每日最新资讯28at.com

▼64K长文本支持JZa28资讯网——每日最新资讯28at.com

增强了对长文本大模型训练的支持，优化了处理长文本理解和生成任务的能力，能够更好地应对文档摘要、文章写作等复杂语言处理任务。JZa28资讯网——每日最新资讯28at.com

▼支持混合专家模型MoEJZa28资讯网——每日最新资讯28at.com

MCCL通信库完成了All2All优化，并针对muDNN算子在不同形状下的矩阵运算进行了优化，以更好地支持MoE（Mixture of Experts）大模型的训练。JZa28资讯网——每日最新资讯28at.com

这不仅提升了智算效率，还为更大规模参数的大模型训练提供了高度可扩展的基础。JZa28资讯网——每日最新资讯28at.com

▼断点续训JZa28资讯网——每日最新资讯28at.com

进一步提升了大模型训练的Checkpoint(检查点)读写性能，写入时间小于2秒，显著提高训练效率。JZa28资讯网——每日最新资讯28at.com

▼优化DeepSpeedJZa28资讯网——每日最新资讯28at.com

支持DeepSpeed、Ulysses的适配和性能优化，强化了长文本训练支持。JZa28资讯网——每日最新资讯28at.com

适配国内外多款大模型，在Hugging Face上支持训练和微调主要的开源大模型，创新型企业可以灵活选择不同的大模型开发智能应用。JZa28资讯网——每日最新资讯28at.com

▼稳定性提升JZa28资讯网——每日最新资讯28at.com

千卡集群软硬件进一步成熟，实现了连续无故障训练长达15天。JZa28资讯网——每日最新资讯28at.com

新版本引入了KUAE Aegis可靠性功能，加强了对GPU、显存、集合通信等方面的监控、自动诊断与故障恢复能力。JZa28资讯网——每日最新资讯28at.com

▼可视化/可观测JZa28资讯网——每日最新资讯28at.com

引入了PerfSight性能监控系统，可实时显示模型训练过程中的资源消耗与性能分析数据，有助于快速发现并恢复训练期间的故障，满足大模型上的性能调优需求。JZa28资讯网——每日最新资讯28at.com

▼内置模型库中新增大模型JZa28资讯网——每日最新资讯28at.com

KUAE内置模型库Model Zoo新增LLaMA2全系列大模型、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型。JZa28资讯网——每日最新资讯28at.com

JZa28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-24-108653-0.html连续无故障训练15天！摩尔线程发布夸娥智算集群KUAE 1.2

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： AOC推出新款24寸显示器：2K 120Hz屏首发仅749元

下一篇： 7月中国主板市场遇冷：华硕稳居首位 成唯一增长品牌