九章智算云
千卡训练的网络拓扑:从Fat-Tree到Dragonfly+

以1024卡、DP=8 / TP=4 / PP=32为例,拆解并行组放置、NCCL拓扑识别与网络路由的边界,给出通信尾延迟排查、分层压测和拓扑选型方法。

千卡训练变慢,未必是总带宽不够。一个晚到的rank、一组集中占用上联的通信流,或一次没有被计算覆盖的梯度同步,都可能拖长整个训练step。

因此,网络调优首先要回答三个问题:谁在和谁通信,流量经过哪里,等待是否落在训练关键路径上。 只有把这三件事对齐,才能判断该改进程放置、调整通信配置,还是重新规划物理网络。

本文以 128台八卡服务器、共1024张加速卡,采用DP=8、TP=4、PP=32的稠密模型训练为例。加速卡可来自H800等平台,但具体加速卡型号、机内互联、NIC数量和链路速率必须以交付硬件为准。

说明

文中的rank分配与效率数字用于解释方法,不代表某个客户集群的实测结果。涉及性能对比时,应保留版本、配置、原始采样和统计口径。本文范围不含额外的上下文并行、专家并行及虚拟流水线配置。

先把1024张卡分清楚

DP、TP、PP是三种不同的通信关系

在上述简化配置中:

总加速卡数 = DP × TP × PP = 8 × 4 × 32 = 1024
一个完整模型副本 = TP × PP = 128 张加速卡

PP=32 表示32个流水线阶段。一个PP通信组有32个rank,但每个阶段还有4路TP,不能把“一个PP组”理解成“完整模型只用32张卡”。

并行方式每组rank数 / 组数主要通信放置时优先考虑什么
张量并行TP4 / 256层内集合通信;具体算子随实现变化通信频繁,优先放进同一高速机内互联域
流水线并行PP32 / 32相邻阶段传输激活及其梯度阶段计算均衡、相邻阶段带宽和延迟
数据并行DP8 / 128梯度AllReduce,或分布式优化器中的ReduceScatter / AllGather等跨节点吞吐、并发通信的拥塞及与反向计算的重叠

这些关系由训练框架构建,并通过启动器和调度系统落实到机器上。NCCL负责通信,不负责给训练作业分配服务器。并行方式与通信行为可参阅 Megatron Core并行策略指南。

一份可检查的逻辑放置示例

为便于推导,定义以下rank顺序,令 d、p、t 分别为DP、PP、TP坐标:

d = 0…7,p = 0…31,t = 0…3
rank       = (d × 32 + p) × 4 + t
node       = rank // 8 = d × 16 + p // 2
local_rank = rank % 8

这是一种教学用编号,不是对Megatron默认rank顺序的声明。在此编号下,每台八卡服务器容纳同一模型副本的两个相邻流水线阶段,每个阶段使用四卡TP。

DP=8 × TP=4 × PP=32,怎样落到128台节点?

每个完整模型副本:32 个阶段 × 每阶段 4 张卡 = 128 张卡 = 16 台节点副本 d=016 台节点节点 0 · 8 GPU阶段 p=0rank 0–3阶段 p=1rank 4–7节点 1 · 8 GPU阶段 p=2rank 8–11阶段 p=3rank 12–15节点 15 · 8 GPU阶段 p=30rank 120–123阶段 p=31rank 124–127···副本 d=116 台节点节点 16 · 8 GPU阶段 p=0rank 128–131阶段 p=1rank 132–135节点 17 · 8 GPU阶段 p=2rank 136–139阶段 p=3rank 140–143节点 31 · 8 GPU阶段 p=30rank 248–251阶段 p=31rank 252–255···PP 沿相邻阶段传递激活 / 梯度;每个绿色框是一个四卡 TP 组。DP:连接同一 p、t 的不同副本,例如 rank 0、128、…、896PP 沿相邻阶段传递激活 / 梯度;每个绿色框是一个四卡 TP 组。组数核对:TP 为 256 组 × 4 卡 | PP 为 32 组 × 32 卡 | DP 为 128 组 × 8 卡图 1:示意编号下的逻辑关系;连线表示通信关系而非线缆,不代表该放置对所有模型最优,实际编号以启动日志为准,图中省略副本 d=2…7。

以rank 0为例:

关系组成员如何理解
TP组0, 1, 2, 3同一副本、同一阶段的四个分片
PP组0, 4, 8, …, 124同一副本、同一TP坐标,跨32个阶段
DP组0, 128, 256, …, 896八个副本中同一阶段、同一TP坐标

这份映射让每个TP组留在单机,一个完整模型副本占16台服务器。它同时意味着DP通信会跨越副本所在的节点集合;将PP尽量放近,可能增加DP流量的集中程度,需要结合实际通信量评估。

附件提供 rank映射生成器 和 1024行示例映射。CSV仅用于核对逻辑关系,不能作为NCCL的拓扑配置直接加载。实际上线时,还应补齐并核对这条链: rank → hostname → 加速卡UUID / PCI 地址 → NIC / NUMA→ leaf → rail 或网络分组 → 上联路径。

Fat-Tree标称1:1,为什么还会有长尾?

Fat-Tree是常见的多级互联结构。工程中经常用“1:1”表示某层下行与上行的带宽预算相等,但局部端口配比不能单独证明端到端网络在真实负载下没有竞争。链路故障、路径分配、端点注入能力,以及多个作业同时发起通信,都会影响最终结果。

对于典型多上联结构,同一个leaf通常连接多台spine。因此,“把一组加速卡放到某台spine下面”不够准确;应标明它们所在的leaf、pod、rail,以及实际可用路径。NVIDIA的 InfiniBand拓扑规划工具 也将端口、上联、阻塞比例与rail配置作为独立输入。

长尾先分成四类看

现象待验证的原因应同时收集的证据
少量rank总是晚进入通信计算不均、数据加载、CPU调度或NUMA绑定各rank的计算结束时间、CPU与数据流水线记录
独占运行正常,多作业并发变慢共享链路竞争、流量集中作业放置、端口吞吐、拥塞计数与时间线
某些节点对持续较慢链路降速、错误、GPU–NIC路径或RDMA异常链路状态、错误计数、设备拓扑及NCCL网络日志
扩大通信组后P99上升明显更多参与者带来的等待、排队或算法变化相同消息大小下的组规模、算法、P50/P99和step时间

规模增大后,一个集合通信会受更多参与者影响,出现慢参与者的机会也随之增加;当热点链路接近饱和时,短时突发又会放大排队时间。这些机制可以造成非线性增长,但不能仅凭一条尾延迟曲线就确定根因。

InfiniBand与RoCE的排查项也应分开:前者关注相应的信用流控、路由和fabric计数器;后者还可能涉及ECN、PFC等以太网机制,不能套用同一组配置。

P99/P50是线索,不是验收标准

P99/P50=4 可能是 20 μs / 5 μs,也可能是 400 ms / 100 ms。两者对训练的影响完全不同。至少要同时记录消息大小、组成员、样本数、绝对延迟、背景负载和训练step时间。

还要分清两种统计口径:

  • 通信kernel的运行时间可能包含等待其他rank的时间,不能直接当作网络在线路上的传输延迟。
  • 所有通信kernel时间之和可能与计算或其他通信重叠,不能直接当作训练时间中可被网络优化消除的部分。

真正影响吞吐的是训练关键路径上的等待。使用profiler时,应检查通信何时发起、何时完成,以及下一段计算是否因此无法开始。

拓扑感知要分三层做,不能只改一个XML

层次负责什么常见操作位置
作业与rank放置哪些进程组成TP / PP / DP组,运行在哪些加速卡上训练框架、启动器、Slurm / Kubernetes调度策略
NCCL通信路径识别加速卡、PCIe、NVLink、NIC的连接关系并选择通信实现NCCL自动探测、日志、经过验证的配置
Fabric转发数据包经过哪些交换机与链路,如何处理拥塞InfiniBand子网管理与路由系统,或以太网控制面

NCCL_TOPO_FILE 能做什么?

NCCL可以通过 NCCL_TOPO_FILE 在自动探测前加载XML拓扑信息;NCCL_TOPO_DUMP_FILE 则用于导出探测后的拓扑。它们的定义见 NCCL环境变量文档。

这个XML不能替代调度器的rank放置,也不能表达“把DP映射到leaf、PP映射到spine”这样的全局调度策略。仅提供拓扑文件,更不能保证ring永远不经过某层交换机。

实践中应先以自动探测建立基线;只有发现设备路径识别与实际硬件不符时,才针对当前平台验证覆盖配置。不要为追求更短路径而在XML中虚构GPU–NIC距离或NVLink连接。

先导出一份单机诊断信息

下面假设 nccl-tests 已构建完成,当前目录包含 build/all_reduce_perf,节点有八张可用加速卡。请在已分配给本次测试的节点上执行:

mkdir -p /tmp/nccl-topology-check

# 子 shell:诊断变量仅影响本次运行
(
  export NCCL_DEBUG=INFO
  export NCCL_DEBUG_SUBSYS=INIT,GRAPH,NET
  export NCCL_DEBUG_FILE='/tmp/nccl-topology-check/nccl.%h.%p.log'
  export NCCL_TOPO_DUMP_FILE="/tmp/nccl-topology-check/topology.$(hostname).$$.xml"

  ./build/all_reduce_perf -b 8M -e 64M -f 2 -g 8 -w 5 -n 20
)

这是单进程管理八张加速卡的诊断示例。%h、%p 是 NCCL_DEBUG_FILE 支持的占位符;不要假设拓扑导出文件也支持相同替换。多进程导出时,应由启动脚本为每个进程生成唯一文件名,避免相互覆盖。占位符规则见 NCCL日志文件说明。

检查重点是加速卡间路径、加速卡与NIC的亲和关系,以及跨节点测试时实际选择的网络传输。最终计时应恢复基线日志级别,避免把诊断开销混入对比。

NCCL_ALGO、NCCL_PROTO 或多NIC相关选项可以用于单变量实验,但应记录适用消息范围,并保留恢复默认值的路径,不宜直接做成整个集群的永久默认配置。

从Fat-Tree到Dragonfly+,变化到底在哪里?

先看Fat-Tree与Dragonfly+在连接关系上的差异。下图是结构示意、不按规模绘制,链路数量与带宽预算需要单独计算。

两层 Fat-Tree / ClosLeaf 通过多条上联连接共享 spineSpine 0Spine 1Leaf 0Leaf 1Leaf 2Leaf 3节点节点节点节点1:1 是带宽预算,不保证真实负载无竞争。多级网络还需检查更高层路径与容量。Dragonfly+(展示两个 group)Group AS0S1L0L1节点节点Group BS0S1L0L1节点节点全局链路组内:Leaf 与 Spine 完全二部图组间:Spine 经全局链路互连选型要比较:训练流量、有效割带宽、多作业干扰、故障容量和完整物料成本。图 2:结构示意,省略端口数量、冗余与部分全局连接,不用于估算带宽或设备数量;S = Spine,L = Leaf,不据此比较线缆根数。

Dragonfly+ 将网络划分为多个group。其典型组内结构是 leaf与spine之间的完全二部图:计算节点连接leaf,leaf连接组内spine,spine通过全局链路连接其他group的spine。这里的“完全连接”不是leaf之间互连。

group之间的全连接关系也不等于每两台交换机都直接相连。每组规模、全局链路数量与分配方式,需要根据交换机端口数和目标容量设计。“每组24个leaf”只是某种配置,不能当成通用规格。结构依据见 Dragonfly+ 应用干扰研究,第2.1节。

应比较同一负载下的系统结果

比较项Fat-Tree / Clos方案要核对Dragonfly+ 方案要核对
带宽预算各层上联、端口速率及有效割带宽组内带宽、组间全局链路与热点割带宽
进程放置leaf / pod / rail与通信组的关系group容量与组间通信比例
多作业表现共享上联上的竞争共享全局链路上的竞争及组级隔离效果
路由与软件当前设备支持的路径选择及集合通信能力当前设备、固件和管理软件对目标设计的支持
扩容与故障新增层级、端口余量和失效后的容量新增group、全局链路补齐和故障绕行容量
成本交换机、线缆、光模块、机柜和能耗相同服务能力下的完整物料与运维成本

拓扑选型没有“到4096卡Fat-Tree就失效”的统一分界。端口密度、层级和带宽预算才是可计算的约束;MPLS也不是判断InfiniBand Fat-Tree扩展能力的必要前提。NVIDIA仍在其 HGX AI Factory参考架构 中采用Fat-Tree计算网络。

对本文的并行配置,可先测试“TP留机内、相邻PP阶段靠近”的候选放置,再检查128个DP组并发同步时是否挤占同一批全局链路。不要为了让PP留在一个group,就忽略DP的总流量与关键路径。

同样,线缆减少比例必须来自等规模、等速率、等冗余目标的物料清单。线缆根数减少不一定意味着成本同比下降,距离变化可能增加光模块与长距离布线成本。

压测顺序:单机 → 跨节点 → 并行组 → 真实训练

先固定环境,再比较拓扑

保留加速卡与NIC型号、固件、驱动、CUDA、NCCL、MPI、训练框架及 nccl-tests 提交版本,同时记录节点清单、rank映射、CPU绑定、网卡选择和背景作业。

单机测试先验证机内路径;跨节点测试再验证RDMA网络;最后按训练通信组施压。直接从“1024卡一个AllReduce”开始,可能测到训练根本不会使用的通信关系。

下面是一个 Open MPI、两台八卡节点、每个进程使用一张加速卡 的测试模板。前提是 nccl-tests 以MPI支持构建,所有节点有一致的软件和可执行文件路径,远程启动已由集群环境配置。构建与参数说明参见 nccl-tests官方仓库。

# hosts-2.txt:将名称替换为本次分配的真实主机名
gpu-node-a slots=8
gpu-node-b slots=8
mpirun -np 16 -N 8 --hostfile hosts-2.txt \
  ./build/all_reduce_perf -b 8M -e 1G -f 2 -g 1 -w 20 -n 100

该范围只是一组起点,消息大小应依据训练中的bucket或激活大小调整;缓冲区需求也不止命令中的单个消息大小。正式采样前,核对实际hostname、local rank和加速卡分配,避免重复使用同一张加速卡。

再模拟真正的DP通信组

对于前文给出的编号方式,rank % 128 相同的八个rank属于同一个DP组。因此,在已验证rank放置一致的1024进程测试中,支持该功能的 nccl-tests 可用以下设置建立128个八卡通信组:

准备好包含128台已分配节点的 hosts-128.txt,每台声明 slots=8,并确认进程按节点连续编号后,可使用以下模板:

(
  export NCCL_TESTS_SPLIT="MOD 128"
  mpirun -np 1024 -N 8 --rank-by slot --hostfile hosts-128.txt \
    -x NCCL_TESTS_SPLIT \
    ./build/all_reduce_perf -b 8M -e 1G -f 2 -g 1 -w 20 -n 100
)

如果启动器的rank顺序不同,MOD 128 也会得到不同成员,必须重新推导。不要仅凭进程数相同,就认为它复现了训练作业的放置。分组方法见 nccl-tests并行测试说明。

同时补测训练实际使用的ReduceScatter / AllGather,以及相邻PP阶段的点对点传输。微基准不能替代完整训练中的通信与计算重叠行为。

把带宽统计和尾延迟统计分开

nccl-tests 的常规输出主要用于比较汇总时间与带宽,不能把默认 time 列直接写成P99。需要尾延迟时,应确认所用版本支持逐次采样,或者使用能够保留每次调用记录的工具;记录预热、样本数、计时方式及跨rank聚合规则。不要混用“先取各rank的P99再平均”和“每轮取最慢rank后计算P99”。

algbw 与 busbw 也不是同一个值。对包含 n 个rank的AllReduce,nccl-tests使用的换算为:

busbw = algbw × 2 × (n - 1) / n

busbw 是按通信算法归一化的带宽指标,不能直接当成某根网线的实测吞吐。计算说明见 nccl-tests性能文档。

建议用以下顺序做A/B对比,每轮只改变一类因素:

轮次改动保持不变主要判断
A建立默认基线模型、精度、batch、序列长度、节点集合稳态step、通信分布与链路状态
B改rank放置软件与物理网络热点、跨节点通信和关键路径是否改善
C改经过验证的通信或路由配置rank放置与训练配置收益是否稳定,其他消息范围是否退化
D比较物理网络方案尽量保持端点硬件与工作负载一致吞吐、长尾、多作业干扰、故障容量及成本

每种配置应覆盖独占与代表性的并发负载,并进行多次独立运行。跨硬件代际的结果可以比较整套系统,但不能将全部差异归因于拓扑。

如何证明“训练效率提升”?先让数字闭合

MFU(Model FLOPs Utilization)衡量模型有效计算量相对于硬件理论计算能力的比例。它不等于 nvidia-smi 的加速卡利用率,也不等于多机扩展效率。MFU与包含额外计算的硬件FLOPs利用率之间的区别,可参阅 PaLM论文。

MFU = 每 step 的模型有效 FLOPs
      /(step 时间 × 加速卡数量 × 单张加速卡对应精度的理论峰值 FLOPs/s)

分子应采用一致的模型计算公式;分母应使用一致的精度和稠密/稀疏峰值口径。比较时还要固定全局batch、序列长度、模型结构和计算策略,不能把重计算、padding或计时范围变化混进网络收益。

一个用于检查因果关系的算例

假设基线MFU为71%,且经过时间线分析确认:不与计算重叠、实际阻塞step的AllReduce占总时间的25%。如果仅把这部分通信耗时降至原来的60%,其他部分完全不变:

新 step / 旧 step = 75% + 25% × 60% = 90%
新吞吐 / 旧吞吐   = 1 / 0.90 ≈ 1.111
新 MFU           = 71% / 0.90 ≈ 78.9%

按这个前提,通信优化对应约11.1% 的吞吐提升,不能单独解释MFU达到82% 或89%。如果所谓“25%”只是所有通信kernel的累计占比,连上述推导也不能直接使用。

同一工作负载、加速卡数量和峰值口径下,从71% 提高到89% 意味着:

指标推导结果
MFU变化增加18个百分点
吞吐变化89 / 71 - 1 ≈ 25.4%
step时间变化1 - 71 / 89 ≈ 20.2% 的下降

这组关系可用于复核实测结果。如果只有AllReduce更快,却没有相应的step时间变化,就应继续检查流水线气泡、计算不均、重叠方式与测量口径,而不是直接宣布网络带来了全部收益。

一份可以复核的验收记录

最终结果至少应包含以下内容:

  • 负载:模型与配置版本、精度、序列长度、全局/微batch、DP / TP / PP及其他并行维度。
  • 环境:硬件、软件、节点清单、真实rank映射、拓扑与路由版本、背景作业。
  • 通信:操作类型、组成员、消息大小、P50/P95/P99、样本数、错误与重试情况。
  • 训练:稳态step分布、有效tokens/s、MFU公式与峰值口径、通信对关键路径的影响。
  • 成本与可靠性:等服务能力的物料清单、扩容余量,以及链路或设备故障后的可用容量。

网络方案的价值,应体现在相同训练任务的稳定完成时间和可核算成本上。先让并行组映射与实际流量对得上,再验证关键路径上的收益,Fat-Tree与Dragonfly+ 的选择才有可靠依据。

最后更新于

这篇文档对你有帮助吗?

目录