以1024卡、DP=8 / TP=4 / PP=32为例,拆解并行组放置、NCCL拓扑识别与网络路由的边界,给出通信尾延迟排查、分层压测和拓扑选型方法。
千卡训练变慢,未必是总带宽不够。一个晚到的rank、一组集中占用上联的通信流,或一次没有被计算覆盖的梯度同步,都可能拖长整个训练step。
因此,网络调优首先要回答三个问题:谁在和谁通信,流量经过哪里,等待是否落在训练关键路径上。 只有把这三件事对齐,才能判断该改进程放置、调整通信配置,还是重新规划物理网络。
本文以 128台八卡服务器、共1024张加速卡,采用DP=8、TP=4、PP=32的稠密模型训练为例。加速卡可来自H800等平台,但具体加速卡型号、机内互联、NIC数量和链路速率必须以交付硬件为准。
说明
文中的rank分配与效率数字用于解释方法,不代表某个客户集群的实测结果。涉及性能对比时,应保留版本、配置、原始采样和统计口径。本文范围不含额外的上下文并行、专家并行及虚拟流水线配置。
先把1024张卡分清楚
DP、TP、PP是三种不同的通信关系
在上述简化配置中:
总加速卡数 = DP × TP × PP = 8 × 4 × 32 = 1024
一个完整模型副本 = TP × PP = 128 张加速卡PP=32 表示32个流水线阶段。一个PP通信组有32个rank,但每个阶段还有4路TP,不能把“一个PP组”理解成“完整模型只用32张卡”。
| 并行方式 | 每组rank数 / 组数 | 主要通信 | 放置时优先考虑什么 |
|---|---|---|---|
| 张量并行TP | 4 / 256 | 层内集合通信;具体算子随实现变化 | 通信频繁,优先放进同一高速机内互联域 |
| 流水线并行PP | 32 / 32 | 相邻阶段传输激活及其梯度 | 阶段计算均衡、相邻阶段带宽和延迟 |
| 数据并行DP | 8 / 128 | 梯度AllReduce,或分布式优化器中的ReduceScatter / AllGather等 | 跨节点吞吐、并发通信的拥塞及与反向计算的重叠 |
这些关系由训练框架构建,并通过启动器和调度系统落实到机器上。NCCL负责通信,不负责给训练作业分配服务器。并行方式与通信行为可参阅 Megatron Core并行策略指南。
一份可检查的逻辑放置示例
为便于推导,定义以下rank顺序,令 d、p、t 分别为DP、PP、TP坐标:
d = 0…7,p = 0…31,t = 0…3
rank = (d × 32 + p) × 4 + t
node = rank // 8 = d × 16 + p // 2
local_rank = rank % 8这是一种教学用编号,不是对Megatron默认rank顺序的声明。在此编号下,每台八卡服务器容纳同一模型副本的两个相邻流水线阶段,每个阶段使用四卡TP。
DP=8 × TP=4 × PP=32,怎样落到128台节点?
以rank 0为例:
| 关系 | 组成员 | 如何理解 |
|---|---|---|
| TP组 | 0, 1, 2, 3 | 同一副本、同一阶段的四个分片 |
| PP组 | 0, 4, 8, …, 124 | 同一副本、同一TP坐标,跨32个阶段 |
| DP组 | 0, 128, 256, …, 896 | 八个副本中同一阶段、同一TP坐标 |
这份映射让每个TP组留在单机,一个完整模型副本占16台服务器。它同时意味着DP通信会跨越副本所在的节点集合;将PP尽量放近,可能增加DP流量的集中程度,需要结合实际通信量评估。
附件提供 rank映射生成器 和 1024行示例映射。CSV仅用于核对逻辑关系,不能作为NCCL的拓扑配置直接加载。实际上线时,还应补齐并核对这条链:
rank → hostname → 加速卡UUID / PCI 地址 → NIC / NUMA→ leaf → rail 或网络分组 → 上联路径。
Fat-Tree标称1:1,为什么还会有长尾?
Fat-Tree是常见的多级互联结构。工程中经常用“1:1”表示某层下行与上行的带宽预算相等,但局部端口配比不能单独证明端到端网络在真实负载下没有竞争。链路故障、路径分配、端点注入能力,以及多个作业同时发起通信,都会影响最终结果。
对于典型多上联结构,同一个leaf通常连接多台spine。因此,“把一组加速卡放到某台spine下面”不够准确;应标明它们所在的leaf、pod、rail,以及实际可用路径。NVIDIA的 InfiniBand拓扑规划工具 也将端口、上联、阻塞比例与rail配置作为独立输入。
长尾先分成四类看
| 现象 | 待验证的原因 | 应同时收集的证据 |
|---|---|---|
| 少量rank总是晚进入通信 | 计算不均、数据加载、CPU调度或NUMA绑定 | 各rank的计算结束时间、CPU与数据流水线记录 |
| 独占运行正常,多作业并发变慢 | 共享链路竞争、流量集中 | 作业放置、端口吞吐、拥塞计数与时间线 |
| 某些节点对持续较慢 | 链路降速、错误、GPU–NIC路径或RDMA异常 | 链路状态、错误计数、设备拓扑及NCCL网络日志 |
| 扩大通信组后P99上升明显 | 更多参与者带来的等待、排队或算法变化 | 相同消息大小下的组规模、算法、P50/P99和step时间 |
规模增大后,一个集合通信会受更多参与者影响,出现慢参与者的机会也随之增加;当热点链路接近饱和时,短时突发又会放大排队时间。这些机制可以造成非线性增长,但不能仅凭一条尾延迟曲线就确定根因。
InfiniBand与RoCE的排查项也应分开:前者关注相应的信用流控、路由和fabric计数器;后者还可能涉及ECN、PFC等以太网机制,不能套用同一组配置。
P99/P50是线索,不是验收标准
P99/P50=4 可能是 20 μs / 5 μs,也可能是 400 ms / 100 ms。两者对训练的影响完全不同。至少要同时记录消息大小、组成员、样本数、绝对延迟、背景负载和训练step时间。
还要分清两种统计口径:
- 通信kernel的运行时间可能包含等待其他rank的时间,不能直接当作网络在线路上的传输延迟。
- 所有通信kernel时间之和可能与计算或其他通信重叠,不能直接当作训练时间中可被网络优化消除的部分。
真正影响吞吐的是训练关键路径上的等待。使用profiler时,应检查通信何时发起、何时完成,以及下一段计算是否因此无法开始。
拓扑感知要分三层做,不能只改一个XML
| 层次 | 负责什么 | 常见操作位置 |
|---|---|---|
| 作业与rank放置 | 哪些进程组成TP / PP / DP组,运行在哪些加速卡上 | 训练框架、启动器、Slurm / Kubernetes调度策略 |
| NCCL通信路径 | 识别加速卡、PCIe、NVLink、NIC的连接关系并选择通信实现 | NCCL自动探测、日志、经过验证的配置 |
| Fabric转发 | 数据包经过哪些交换机与链路,如何处理拥塞 | InfiniBand子网管理与路由系统,或以太网控制面 |
NCCL_TOPO_FILE 能做什么?
NCCL可以通过 NCCL_TOPO_FILE 在自动探测前加载XML拓扑信息;NCCL_TOPO_DUMP_FILE 则用于导出探测后的拓扑。它们的定义见 NCCL环境变量文档。
这个XML不能替代调度器的rank放置,也不能表达“把DP映射到leaf、PP映射到spine”这样的全局调度策略。仅提供拓扑文件,更不能保证ring永远不经过某层交换机。
实践中应先以自动探测建立基线;只有发现设备路径识别与实际硬件不符时,才针对当前平台验证覆盖配置。不要为追求更短路径而在XML中虚构GPU–NIC距离或NVLink连接。
先导出一份单机诊断信息
下面假设 nccl-tests 已构建完成,当前目录包含 build/all_reduce_perf,节点有八张可用加速卡。请在已分配给本次测试的节点上执行:
mkdir -p /tmp/nccl-topology-check
# 子 shell:诊断变量仅影响本次运行
(
export NCCL_DEBUG=INFO
export NCCL_DEBUG_SUBSYS=INIT,GRAPH,NET
export NCCL_DEBUG_FILE='/tmp/nccl-topology-check/nccl.%h.%p.log'
export NCCL_TOPO_DUMP_FILE="/tmp/nccl-topology-check/topology.$(hostname).$$.xml"
./build/all_reduce_perf -b 8M -e 64M -f 2 -g 8 -w 5 -n 20
)这是单进程管理八张加速卡的诊断示例。%h、%p 是 NCCL_DEBUG_FILE 支持的占位符;不要假设拓扑导出文件也支持相同替换。多进程导出时,应由启动脚本为每个进程生成唯一文件名,避免相互覆盖。占位符规则见 NCCL日志文件说明。
检查重点是加速卡间路径、加速卡与NIC的亲和关系,以及跨节点测试时实际选择的网络传输。最终计时应恢复基线日志级别,避免把诊断开销混入对比。
NCCL_ALGO、NCCL_PROTO 或多NIC相关选项可以用于单变量实验,但应记录适用消息范围,并保留恢复默认值的路径,不宜直接做成整个集群的永久默认配置。
从Fat-Tree到Dragonfly+,变化到底在哪里?
先看Fat-Tree与Dragonfly+在连接关系上的差异。下图是结构示意、不按规模绘制,链路数量与带宽预算需要单独计算。
Dragonfly+ 将网络划分为多个group。其典型组内结构是 leaf与spine之间的完全二部图:计算节点连接leaf,leaf连接组内spine,spine通过全局链路连接其他group的spine。这里的“完全连接”不是leaf之间互连。
group之间的全连接关系也不等于每两台交换机都直接相连。每组规模、全局链路数量与分配方式,需要根据交换机端口数和目标容量设计。“每组24个leaf”只是某种配置,不能当成通用规格。结构依据见 Dragonfly+ 应用干扰研究,第2.1节。
应比较同一负载下的系统结果
| 比较项 | Fat-Tree / Clos方案要核对 | Dragonfly+ 方案要核对 |
|---|---|---|
| 带宽预算 | 各层上联、端口速率及有效割带宽 | 组内带宽、组间全局链路与热点割带宽 |
| 进程放置 | leaf / pod / rail与通信组的关系 | group容量与组间通信比例 |
| 多作业表现 | 共享上联上的竞争 | 共享全局链路上的竞争及组级隔离效果 |
| 路由与软件 | 当前设备支持的路径选择及集合通信能力 | 当前设备、固件和管理软件对目标设计的支持 |
| 扩容与故障 | 新增层级、端口余量和失效后的容量 | 新增group、全局链路补齐和故障绕行容量 |
| 成本 | 交换机、线缆、光模块、机柜和能耗 | 相同服务能力下的完整物料与运维成本 |
拓扑选型没有“到4096卡Fat-Tree就失效”的统一分界。端口密度、层级和带宽预算才是可计算的约束;MPLS也不是判断InfiniBand Fat-Tree扩展能力的必要前提。NVIDIA仍在其 HGX AI Factory参考架构 中采用Fat-Tree计算网络。
对本文的并行配置,可先测试“TP留机内、相邻PP阶段靠近”的候选放置,再检查128个DP组并发同步时是否挤占同一批全局链路。不要为了让PP留在一个group,就忽略DP的总流量与关键路径。
同样,线缆减少比例必须来自等规模、等速率、等冗余目标的物料清单。线缆根数减少不一定意味着成本同比下降,距离变化可能增加光模块与长距离布线成本。
压测顺序:单机 → 跨节点 → 并行组 → 真实训练
先固定环境,再比较拓扑
保留加速卡与NIC型号、固件、驱动、CUDA、NCCL、MPI、训练框架及 nccl-tests 提交版本,同时记录节点清单、rank映射、CPU绑定、网卡选择和背景作业。
单机测试先验证机内路径;跨节点测试再验证RDMA网络;最后按训练通信组施压。直接从“1024卡一个AllReduce”开始,可能测到训练根本不会使用的通信关系。
下面是一个 Open MPI、两台八卡节点、每个进程使用一张加速卡 的测试模板。前提是 nccl-tests 以MPI支持构建,所有节点有一致的软件和可执行文件路径,远程启动已由集群环境配置。构建与参数说明参见 nccl-tests官方仓库。
# hosts-2.txt:将名称替换为本次分配的真实主机名
gpu-node-a slots=8
gpu-node-b slots=8mpirun -np 16 -N 8 --hostfile hosts-2.txt \
./build/all_reduce_perf -b 8M -e 1G -f 2 -g 1 -w 20 -n 100该范围只是一组起点,消息大小应依据训练中的bucket或激活大小调整;缓冲区需求也不止命令中的单个消息大小。正式采样前,核对实际hostname、local rank和加速卡分配,避免重复使用同一张加速卡。
再模拟真正的DP通信组
对于前文给出的编号方式,rank % 128 相同的八个rank属于同一个DP组。因此,在已验证rank放置一致的1024进程测试中,支持该功能的 nccl-tests 可用以下设置建立128个八卡通信组:
准备好包含128台已分配节点的 hosts-128.txt,每台声明 slots=8,并确认进程按节点连续编号后,可使用以下模板:
(
export NCCL_TESTS_SPLIT="MOD 128"
mpirun -np 1024 -N 8 --rank-by slot --hostfile hosts-128.txt \
-x NCCL_TESTS_SPLIT \
./build/all_reduce_perf -b 8M -e 1G -f 2 -g 1 -w 20 -n 100
)如果启动器的rank顺序不同,MOD 128 也会得到不同成员,必须重新推导。不要仅凭进程数相同,就认为它复现了训练作业的放置。分组方法见 nccl-tests并行测试说明。
同时补测训练实际使用的ReduceScatter / AllGather,以及相邻PP阶段的点对点传输。微基准不能替代完整训练中的通信与计算重叠行为。
把带宽统计和尾延迟统计分开
nccl-tests 的常规输出主要用于比较汇总时间与带宽,不能把默认 time 列直接写成P99。需要尾延迟时,应确认所用版本支持逐次采样,或者使用能够保留每次调用记录的工具;记录预热、样本数、计时方式及跨rank聚合规则。不要混用“先取各rank的P99再平均”和“每轮取最慢rank后计算P99”。
algbw 与 busbw 也不是同一个值。对包含 n 个rank的AllReduce,nccl-tests使用的换算为:
busbw = algbw × 2 × (n - 1) / nbusbw 是按通信算法归一化的带宽指标,不能直接当成某根网线的实测吞吐。计算说明见 nccl-tests性能文档。
建议用以下顺序做A/B对比,每轮只改变一类因素:
| 轮次 | 改动 | 保持不变 | 主要判断 |
|---|---|---|---|
| A | 建立默认基线 | 模型、精度、batch、序列长度、节点集合 | 稳态step、通信分布与链路状态 |
| B | 改rank放置 | 软件与物理网络 | 热点、跨节点通信和关键路径是否改善 |
| C | 改经过验证的通信或路由配置 | rank放置与训练配置 | 收益是否稳定,其他消息范围是否退化 |
| D | 比较物理网络方案 | 尽量保持端点硬件与工作负载一致 | 吞吐、长尾、多作业干扰、故障容量及成本 |
每种配置应覆盖独占与代表性的并发负载,并进行多次独立运行。跨硬件代际的结果可以比较整套系统,但不能将全部差异归因于拓扑。
如何证明“训练效率提升”?先让数字闭合
MFU(Model FLOPs Utilization)衡量模型有效计算量相对于硬件理论计算能力的比例。它不等于 nvidia-smi 的加速卡利用率,也不等于多机扩展效率。MFU与包含额外计算的硬件FLOPs利用率之间的区别,可参阅 PaLM论文。
MFU = 每 step 的模型有效 FLOPs
/(step 时间 × 加速卡数量 × 单张加速卡对应精度的理论峰值 FLOPs/s)分子应采用一致的模型计算公式;分母应使用一致的精度和稠密/稀疏峰值口径。比较时还要固定全局batch、序列长度、模型结构和计算策略,不能把重计算、padding或计时范围变化混进网络收益。
一个用于检查因果关系的算例
假设基线MFU为71%,且经过时间线分析确认:不与计算重叠、实际阻塞step的AllReduce占总时间的25%。如果仅把这部分通信耗时降至原来的60%,其他部分完全不变:
新 step / 旧 step = 75% + 25% × 60% = 90%
新吞吐 / 旧吞吐 = 1 / 0.90 ≈ 1.111
新 MFU = 71% / 0.90 ≈ 78.9%按这个前提,通信优化对应约11.1% 的吞吐提升,不能单独解释MFU达到82% 或89%。如果所谓“25%”只是所有通信kernel的累计占比,连上述推导也不能直接使用。
同一工作负载、加速卡数量和峰值口径下,从71% 提高到89% 意味着:
| 指标 | 推导结果 |
|---|---|
| MFU变化 | 增加18个百分点 |
| 吞吐变化 | 89 / 71 - 1 ≈ 25.4% |
| step时间变化 | 1 - 71 / 89 ≈ 20.2% 的下降 |
这组关系可用于复核实测结果。如果只有AllReduce更快,却没有相应的step时间变化,就应继续检查流水线气泡、计算不均、重叠方式与测量口径,而不是直接宣布网络带来了全部收益。
一份可以复核的验收记录
最终结果至少应包含以下内容:
- 负载:模型与配置版本、精度、序列长度、全局/微batch、DP / TP / PP及其他并行维度。
- 环境:硬件、软件、节点清单、真实rank映射、拓扑与路由版本、背景作业。
- 通信:操作类型、组成员、消息大小、P50/P95/P99、样本数、错误与重试情况。
- 训练:稳态step分布、有效tokens/s、MFU公式与峰值口径、通信对关键路径的影响。
- 成本与可靠性:等服务能力的物料清单、扩容余量,以及链路或设备故障后的可用容量。
网络方案的价值,应体现在相同训练任务的稳定完成时间和可核算成本上。先让并行组映射与实际流量对得上,再验证关键路径上的收益,Fat-Tree与Dragonfly+ 的选择才有可靠依据。
最后更新于
