当前位置：首页 > 科技 > 知识百科

性能最高提升 6.9 倍，字节跳动开源大模型训练框架 veGiantModel

来源：责编：时间：2023-08-07 16:30:03 345观看

导读背景近些年，NLP 应用方面有所突破，Bert、GPT、GPT-3 等超大模型横扫各种 NLP 测试后，人们发现参数量越大的模型，在算法方面表现越好，于是纷纷开始迅速向大模型方向发展，模型体积爆

背景

近些年，NLP 应用方面有所突破，Bert、GPT、GPT-3 等超大模型横扫各种 NLP 测试后，人们发现参数量越大的模型，在算法方面表现越好，于是纷纷开始迅速向大模型方向发展，模型体积爆炸式增长。而大模型训练给现有的训练系统带来的主要挑战为显存压力，计算压力和通信压力。

The size of language model is growing at an exponential rate (来源：https://huggingface.co/blog/large-language-models)

火山引擎大模型训练框架 veGiantModel

针对这个需求，字节跳动 AML 团队内部开发了火山引擎大模型训练框架 veGiantModel。基于 PyTorch 框架，veGiantModel 是以 Megatron 和 DeepSpeed 为基础的高性能大模型训练框架。其特点包括：

同时支持数据并行、算子切分、流水线并行 3 种分布式并行策略，同时支持自动化和定制化的并行策略；基于 ByteCCL 高性能异步通讯库，训练任务吞吐相比其他开源框架有 1.2x-3.5x 的提升；提供了更友好、灵活的流水线支持，降低了模型开发迭代所需要的人力；可在 GPU上高效地支持数十亿至上千亿参数量的大模型；对带宽要求低，在私有化部署无 RDMA 强依赖。

其中，ByteCCL 为字节跳动自研的 BytePS 的升级版，针对 A100/V100 等各种机型拓扑做了分层规约优化，并支持了 allgather、alltoall 等更全面的通讯原语。

veGiantModel 性能表现硬件配置

为了展示 VeGiantModel 的性能，veGiantModel 团队使用了自建机房的物理机，分别在 A100 和 V100 机型上做了测试，实验配置分别如下：

V100 测试：每个机器 8 张 Tesla V100 32G 型号 GPU，网络带宽 100GA100 测试：每个机器 8 张 Ampere A100 40G 型号 GPU，网络带宽 800G模型和对照组选择

veGiantModel 选择了 GPT-13B 模型进行评估，seq length 是 256, global batch size 是 1536。GPT 为目前市面上最为流行的 transformer based 语言模型。性能对照组选择了开源社区最流行的 Megatron 和 DeepSpeed。

测试结果V100/TCP ：100Gb/s TCP 网络带宽，4 机，每机 8 张 Tesla V100 32G GPUV100/RDMA：100Gb/s RDMA 网络带宽，4 机，每机 8 张 Tesla V100 32G GPUA100/TCP：800Gb/s TCP 网络带宽，4 机，每机 8 张 Tesla A100 40G GPUA100/RDMA：800Gb/s RDMA 网络带宽，4 机，每机 8 张 Tesla A100 40G GPU模型：GPT-13BMegatron：v2.4，tensor-model-parallel-size 设置为 4, pipeline-model-parallel-size 设置为 4DeepSpeed：v0.4.2，使用 DeepSpeedExamples 开源社区中默认的 zero3 的配置运行环境统计值：Throughtput (samples/s)

从上述数据可以看出：

veGiantModel 性能更优：无论是在高带宽还是低带宽的场下，veGiantModel 在 V100 和 A100 上均胜出 Megatron 和 DeepSpeed，最高可达 6.9 倍提升。veGiantModel 对网络带宽要求低：veGiantModel 在带宽变化对吞吐的影响相对最小 (<10%)，而 DeepSpeed(ZeRO) 是对带宽要求最高的，最高可达将近 5 倍的差距。原因解析

veGiantModel 为什么比 Megatron 和 DeepSpeed 更快？原因如下：

ByteCCL (BytePS) 高性能异步通讯库。支持定制化的并行策略，可以将性能优化推到极致。在支持数据并行、算子切分、流水线并行 3 种分布式并行策略时，veGiantModel 会综合考虑到跨机的带宽，自动调整 toplogy 的 placement。传送门

veGiantModel 现已在 GitHub 上开源，地址如下：

https://github.com/volcengine/veGiantModel

GitHub 上详细介绍了如何使用 veGiantModel 以及如何使用 veGiantModel 快速跑起一个 GPT 的预训练。火山引擎机器学习平台原生支持了 veGiantModel，目前平台正在公测中，欢迎大家试用：https://www.volcengine.com/product/ml-platform

本文链接：http://www.28at.com/showinfo-119-2229-0.html性能最高提升 6.9 倍，字节跳动开源大模型训练框架 veGiantModel

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：微软智能云在华新增数据中心区域正式启用看好中国市场机会

下一篇：云计算不相信小厂

标签：

热门焦点

小米官宣：2023年上半年出货量中国第一！

今日早间，小米电视官方微博带来消息，称2023年小米电视上半年出货量达到了中国第一，同时还表示小米电视的巨屏风暴即将开始。“公布一个好消息2023年#小米电视上半年出货量中国
CSS单标签实现转转logo

转转品牌升级后更新了全新的Logo，今天我们用纯CSS来实现转转的新Logo，为了有一定的挑战性，这里我们只使用一个标签实现，将最大化的使用CSS能力完成Logo的绘制与动画效果。新logo
只需五步，使用start.spring.io快速入门Spring编程

步骤1打开https://start.spring.io/，按照屏幕截图中的内容创建项目，添加 Spring Web 依赖项，并单击“生成”按钮下载 .zip 文件，为下一步做准备。请在进入步骤2之前进行解压。图
使用AIGC工具提升安全工作效率

在日常工作中，安全人员可能会涉及各种各样的安全任务，包括但不限于：开发某些安全工具的插件，满足自己特定的安全需求；自定义github搜索工具，快速查找所需的安全资料、漏洞poc、exp
自律，给不了Keep自由！

来源 | 互联网品牌官作者 | 李大为编排 | 又耳审核 | 谷晓辉自律能不能给用户自由暂时不好说，但大概率不能给Keep自由。近日，全球最大的在线健身平台Keep正式登陆港交所，努力
小米汽车电池信息疑似曝光：容量101kWh，支持800V高压快充

7月14日消息，今日一名博主在社交媒体发布了一张疑似小米汽车电池信息的照片，显示该电池包正是宁德时代麒麟电池，容量为101kWh，电压为726.7V，可以预测小
国行版三星Galaxy Z Fold5/Z Flip5发布售价7499元起

2023年8月3日，三星电子举行Galaxy新品中国发布会，正式在国内推出了新一代折叠屏智能手机三星Galaxy Z Fold5与Galaxy Z Flip5，以及三星Galaxy Tab S9
DRAM存储器10月价格下跌，NAND闪存本月价格与上月持平

10月30日，据韩国媒体消息，自今年年初以来一直在上涨的 DRAM 存储器的交易价格仅在本月就下跌了近 10％，此次是全年首次降价，而NAND 闪存本月价格与上月持平。市
onebot M24巧系列一体机采用轻薄机身设计，现已在各平台开售

onebot M24 巧系列一体机目前已在线上线下各平台同步开售。onebot M24 巧系列采用一体化轻薄机身设计，最薄处为 10.15mm，拥有宝石红、午夜蓝、石墨绿、雅致

性能最高提升 6.9 倍，字节跳动开源大模型训练框架 veGiantModel

小米官宣：2023年上半年出货量中国第一！

CSS单标签实现转转logo

只需五步，使用start.spring.io快速入门Spring编程

使用AIGC工具提升安全工作效率

自律，给不了Keep自由！

小米汽车电池信息疑似曝光：容量101kWh，支持800V高压快充

国行版三星Galaxy Z Fold5/Z Flip5发布售价7499元起

DRAM存储器10月价格下跌，NAND闪存本月价格与上月持平

onebot M24巧系列一体机采用轻薄机身设计，现已在各平台开售

最新推荐

猜你喜欢

热门推荐

相关资讯