近日，DeepSeek在其备受瞩目的“开源周”活动中，迎来了第二天的重要发布——DeepEP，这是一个专为混合专家（MoE）模型训练和推理设计的开源EP通信库。
DeepEP的开源地址已经公布，感兴趣的开发者和研究人员可以访问此链接获取更多信息。
据官方介绍，DeepEP具备多项显著特征，使其成为处理MoE模型时的理想选择。首先，它采用了高效优化的全到全通信方式，确保了数据传输的高效性。其次，DeepEP支持节点内外的通信，并且兼容NVLink和RDMA技术，这为用户提供了更多的灵活性和兼容性。
DeepEP还提供了高吞吐量的内核，这些内核在训练和推理的前期填充阶段能够显著提升效率。同时，对于推理解码任务，DeepEP则提供了一套低延迟内核，这些内核采用纯RDMA技术，最大限度地减少了延迟，从而优化了推理解码速度。
DeepEP完全支持FP8数据格式的调度，这对于低精度计算的需求来说无疑是一个重要的优势。该库还提供了灵活的GPU资源管理功能，支持计算与通信的重叠执行，这进一步提高了资源利用效率和整体性能。
DeepEP的设计初衷是为了满足混合专家（MoE）和专家并行（EP）模型的特殊需求。它提供了高吞吐量和低延迟的all-to-all GPU内核，这些内核常用于MoE的派发和合并操作。为了与DeepSeek-V3论文中提出的组限制门控算法兼容，DeepEP还进行了一些针对不对称带宽转发优化的内核设计。
例如，它能够将数据从NVLink域转发到RDMA域，这些优化的内核提供了高吞吐量，非常适合用于训练和推理的预填充任务。同时，DeepEP还支持SM（流式多处理器）数量控制，这为用户提供了更多的控制和灵活性。
对于延迟敏感型的推理解码任务，DeepEP的低延迟内核无疑是一个重要的亮点。这些内核采用纯RDMA技术，最大限度地减少了延迟，从而确保了推理解码任务的高效执行。DeepEP还采用了一种基于Hook的通信与计算重叠方法，这种方法不会占用任何SM资源，进一步提高了整体性能。
当然，要使用DeepEP，还需要满足一些硬件和软件的要求。例如，需要配备Hopper GPUs（未来可能会支持更多架构或设备），以及Python 3.8及以上版本、CUDA 12.3及以上版本和PyTorch 2.1及以上版本。还需要使用NVLink或基于RDMA网络的节点间通信。
举报 0收藏 0打赏 0评论 0分享 0 更多>同类资讯
汪峰与新女友森林北合伙成立壹代人传媒公司企查查APP显示，近日，壹代人（北京）文化传播有限公司成立，注册资本100万，法定代表人汪峰，经营范围包含个人互联网直播服务、互联网销售等，汪峰现女友李巧（网名：森林北）间接持有50%股权，汪峰通过壮丽峰景（…02-25
大衣哥正采访中突然翻墙走了，其姓名被抢注商标据报道，在采访过程中，面对不断有人敲门拜访的压力，大衣哥无奈选择翻墙穿邻居家过去。企查查APP显示，曾有多家公司、个人抢注大衣哥姓名“朱之文”商标，其中部分已注册成功，国际分类涉及食品、服装鞋帽、餐饮住宿等。…02-25
ST金一成立新公司，含技术进出口业务企查查APP显示，近日，北京越王文化有限公司成立，法定代表人为王晓丹，注册资本3000万元，经营范围包含：专业设计服务；货物进出口；技术进出口；进出口代理等。企查查股权穿透显示，该公司由ST金一（002721…02-25
ST墨龙投资成立农业发展公司，含智能机器人业务企查查APP显示，近日，墨龙（海南）农业发展有限公司成立，法定代表人为丁一晏，注册资本1000万元，经营范围包含：智能机器人的研发；物联网设备销售；物联网技术服务等。企查查股权穿透显示，该公司由ST墨龙（00…02-25
科源制药成立新公司，含新化学物质进口业务企查查APP显示，近日，科源制药（上海）有限公司成立，法定代表人为蒋红升，注册资本500万元，经营范围包含：医学研究和试验发展；货物进出口；技术进出口；新化学物质进口等。企查查股权穿透显示，该公司由科源制药（…02-25
金风科技成立智慧新能源公司，含电池制造业务企查查APP显示，近日，包头金储智慧新能源有限公司成立，法定代表人为孙悦，注册资本为100万元，经营范围包含：储能技术服务；电池制造；风力发电技术服务；太阳能发电技术服务；风力发电机组及零部件销售；电气设备销…02-25
三棵树投资成立家居新公司企查查APP显示，近日，福建三棵树家居有限公司成立，法定代表人为洪圣源，注册资本1500万元，经营范围包含：家具制造；家具零配件生产；家具零配件销售；家具安装和维修服务等。企查查股权穿透显示，该公司由三棵树（…02-25
天山股份投资成立材料公司，注册资本3000万企查查APP显示，近日，无锡锡山华东材料有限公司成立，法定代表人为张玉华，注册资本为3000万元，经营范围包含：道路货物运输（不含危险货物）；港口经营；水泥制品制造；水泥制品销售；建筑材料销售；金属材料销售；…02-25
雄安集团26亿元投资成立前行置业公司企查查APP显示，近日，河北雄安前行置业有限公司成立，法定代表人为宗显雷，注册资本为26亿元，经营范围包含：房地产开发经营；互联网信息服务；商业综合体管理服务；非居住房地产租赁；住房租赁；物业管理；酒店管理；…02-25
中控技术等投资成立智造技术新公司企查查APP显示，近日，中控（舟山）智造技术有限公司成立，法定代表人为庞钟辉，注册资本1000万元，经营范围包含：工业自动控制系统装置销售；网络技术服务；物联网技术服务；智能控制系统集成等。企查查股权穿透显示…02-25
千元克价黄金热，老铺能否持续引领中式奢侈品风潮？老铺黄金门店外蜿蜒的长队和令人咋舌的克价，折射出的其实并不是消费者对黄金的狂热，而更像是一场关于产品定位与消费心理的博弈。但消费者于娟则说道，“我看小红书上的代购和其他买金人们都说今年金价涨得的这么快，老铺…02-25
滚导掌舵DC宇宙两年有感：时光飞逝，蝙蝠侠新项目引期待02-25
ST墨龙跨界农业，新公司涉足智能机器人与物联网领域02-25
科源制药新设全资子公司，经营范围拓展至新化学物质进口02-25
三棵树家居新公司亮相，注册资本达1500万，业务范围广泛02-25点击查看更多 +全站最新
手机中木马竟能自动消费？专家教你自查处理三步骤
小米15 Ultra“夜神”来袭！徕卡超纯光学系统，影像新高度？
比亚迪秦L EV官图曝光，颜值在线搭载天神之眼C智驾系统
理想i8纯电SUV官图曝光，前脸神似MEGA，全新设计语言亮相滚导掌舵DC宇宙两年有感：时光飞逝，蝙蝠侠新项目引期待
湖北高中生自制折叠屏手机，引450万围观，被赞“小雷军”？热门内容滚导掌舵DC宇宙两年有感：时光飞逝，蝙蝠侠新项目引期待ST墨龙跨界农业，新公司涉足智能机器人与物联网领域科源制药新设全资子公司，经营范围拓展至新化学物质进口三棵树家居新公司亮相，注册资本达1500万，业务范围广泛
金风科技新动作！间接全资成立智慧新能源公司，涉足电池制造
天山股份全资控股新公司，无锡锡山华东材料公司注册资本达3000万
本文链接：http://www.28at.com/showinfo-16-133850-0.htmlDeepSeek新动向：MoE模型利器DeepEP通信库震撼开源！
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
上一篇： 阿里Qwen推出新推理模型QwQ，数学编程样样行，还能联网搜
下一篇： 汪峰与新女友森林北合伙成立壹代人传媒公司
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
