九章智算云
H800A上的vLLM推理调优:如何验证4500 tokens/s

以单机8卡为例,建立可复核的在线压测基线,分开验证调度、前缀缓存、FP8权重与KV cache,并用延迟约束评估实际服务容量。

“单机8卡达到4500 tokens/s”看起来是一个清晰的性能目标,但要把它用于企业问答系统的容量规划,还缺少几个条件:统计的是输入还是输出token?每个请求有多长?前缀缓存是否已经预热?这个吞吐下,P95首token延迟还能否满足800 ms?

本文面向交付型号标记为H800A的8卡节点,给出一套从基线到调优、再到验收的压测方法。4500 tokens/s在本文中是待验证的输出吞吐目标,不是已经复核的实测结果。 文中的数值计算会标为理论换算,命令会标明示例条件。

先固定模型与硬件,避免测错对象

模型名称必须能追溯到仓库和revision

Qwen官方最初发布的Qwen3模型包括32B等稠密模型,以及30B-A3B、235B-A22B等MoE模型,该发布清单没有 Qwen3-72B-Instruct。不能用一个未确认的模型简称替代实际仓库,也不能把Qwen2.5的结果转写成Qwen3的结果。Qwen3官方发布说明

为提供明确的命令示例,本文选用已公开的 Qwen/Qwen2.5-72B-Instruct,并从BF16基线开始。它是示例对象,不能证明某个量化模型或其他模型版本具有相同性能。官方模型卡

提前将选定revision的权重、配置和tokenizer准备在本地目录 /models/Qwen2.5-72B-Instruct。记录提交哈希与文件校验信息;NVMe本地缓存可以缩短加载时间,但模型加载完后,不能直接把持续生成吞吐的提升归因于NVMe。

“8卡H800A”不是完整的测试环境说明

节点产品名不能替代设备信息。至少保留以下记录:

类别必须记录的内容
GPUnvidia-smi 返回的型号、UUID、单卡显存、功耗限制、驱动版本
拓扑nvidia-smi topo -m、NVLink状态及通信测试结果;不能从卡数推断全互联
主机CPU、NUMA、内存、操作系统、容器或环境版本
软件vLLM、PyTorch、CUDA构建版本、NCCL、实际attention / quantization backend
模型仓库、revision、tokenizer、模板、量化配置、是否启用推理思考模式
请求输入输出长度分布、请求到达速率、数据版本、缓存条件与采样参数
mkdir -p results
nvidia-smi -q > results/gpu-info.txt
nvidia-smi topo -m > results/gpu-topology.txt
python -c 'import vllm, torch; print("vllm", vllm.__version__); print("torch", torch.__version__); print("torch CUDA", torch.version.cuda)' \
  > results/software-versions.txt

下面的CLI示例按 vLLM 0.11.0 源码核对,用于固定教程语义,不代表最新版本或生产推荐版本。使用其他版本时,先检查 vllm serve --help 与 vllm bench serve --help,不要将多个历史版本的参数和结果拼在一起比较。

先算清楚:4500 tokens/s能服务多少请求

企业问答需要同时观察吞吐与延迟。建议至少报告以下指标:

指标本文采用的含义
输出吞吐,output tokens/s成功完成请求的实际输出token总数,除以对应测量窗口时长
总token吞吐输入加输出token的统计值;必须与输出吞吐分开命名
请求吞吐,requests/s单位时间成功完成的请求数
TTFT从客户端发起模型请求到收到首个输出token的时间,报告P50 / P95 / P99
TPOT / ITL分别关注每个请求首token后的平均生成间隔,以及流式输出间隔分布;两者不是同一个统计量
端到端延迟,E2EL一个请求从发出到完整响应结束的时间
Goodput单位时间内成功完成且满足所设延迟阈值的请求数;注明使用了哪些阈值

前端“首屏延迟”还可能包含鉴权、检索、重排、业务网关和渲染时间,不能与仅测模型接口的TTFT混用。

200 RPS与并发200,是两个不同需求

RPS描述每秒到达或完成多少请求;并发数描述同时处于系统中的请求数。稳定系统中可以用Little定律辅助估算:平均在途请求数约等于到达速率乘以平均请求停留时间。

如果 4500是输出tokens/s,且平均每个请求输出256 tokens,那么在相同稳态统计口径下:

成功请求吞吐 ≈ 4500 ÷ 256 ≈ 17.6 requests/s
200 requests/s 所需输出吞吐 ≈ 200 × 256 = 51,200 tokens/s
4500 tokens/s 支撑 200 requests/s,对应平均输出长度约 22.5 tokens
请求吞吐 ≈ 输出 token 吞吐 ÷ 平均每个请求的输出长度必须使用同一测量窗口,区分成功请求、失败请求、排队与瞬时峰值。平均输出长度128 tokens35.2成功请求 / 秒(理论换算)平均输出长度256 tokens17.6成功请求 / 秒(理论换算)平均输出长度512 tokens8.8成功请求 / 秒(理论换算)若业务要求 200 requests/s,平均输出 256 tokens所需输出吞吐 = 200 × 256 = 51,200 tokens/s800 ms 的 P95 TTFT、失败率与回答质量,仍要在同一负载下单独验收。tokens/s 不等于 RPS,RPS 也不等于同时在途的请求数。图 1:只做稳态算术换算,未计入额外容量余量,不代表实测吞吐或满足延迟要求的容量。

因此,验收需求应写成“在某个输入输出分布下,持续接收多少RPS,成功率达到多少,并满足哪些延迟分位数”,不能只保留一个tokens/s数字。若排队持续增长,就还没有达到可持续的服务状态。

建立可复核的在线基线

离线批量生成适合探索吞吐上限;P95 TTFT和在线排队行为需要通过流式接口测量。数据集叫作“ShareGPT-4k”,也不意味着每条输入恰好4096 tokens:还应记录文件哈希、筛选条件、模板和实际长度分布。

启动一个明确配置的服务

下面假设8张GPU已可见,显存和软件环境能容纳所选BF16模型,并且没有其他任务争抢资源。命令在Linux的已安装vLLM 0.11.0环境中执行:

vllm serve /models/Qwen2.5-72B-Instruct \
  --served-model-name qwen72b-bench \
  --host 127.0.0.1 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --dtype bfloat16 \
  --kv-cache-dtype auto \
  --gpu-memory-utilization 0.90 \
  --max-model-len 8192 \
  --max-num-seqs 128 \
  --max-num-batched-tokens 4096 \
  --enable-chunked-prefill \
  --no-enable-prefix-caching

这些值是实验起点,不是最佳参数。这里显式关闭prefix caching,方便后续做对照;显式保留chunked prefill,避免不同默认值污染实验。gpu-memory-utilization 是引擎显存预算配置,不能理解成“权重占用比例”。启动日志中应确认实际并行方式、后端及KV cache容量。0.11.0参数实现

先做一次合成负载验证

服务启动后,在另一终端运行同版本的benchmark。客户端需要能读取相同tokenizer。本例走本机回环地址,测量模型服务链路;业务入口和跨网络测试应另做一组。

mkdir -p results
vllm bench serve \
  --backend openai \
  --base-url http://127.0.0.1:8000 \
  --endpoint /v1/completions \
  --model /models/Qwen2.5-72B-Instruct \
  --served-model-name qwen72b-bench \
  --dataset-name random \
  --random-input-len 4096 \
  --random-output-len 256 \
  --random-range-ratio 0 \
  --random-prefix-len 0 \
  --num-prompts 1000 \
  --request-rate 5 \
  --seed 17 \
  --ignore-eos \
  --percentile-metrics ttft,tpot,itl,e2el \
  --metric-percentiles 50,95,99 \
  --goodput ttft:800 \
  --save-result \
  --save-detailed \
  --result-dir results \
  --result-filename baseline-rps5.json

这组命令用于确认测量链路,不等于生产验收:

  • 输入输出长度是生成目标,最终以tokenizer和结果中的实际统计为准。
  • --ignore-eos 用于控制合成测试的输出长度;真实问答回放应保留实际停止条件。
  • --goodput ttft:800 只按TTFT阈值计算goodput,未包含TPOT、完整响应延迟或质量要求,也不是“P95达标率”的同义词。
  • --request-rate 5 是配置的请求到达速率;还要确认压测客户端没有成为瓶颈。
  • 对话接口、聊天模板和业务检索链路需要另外回放,不能仅凭 /v1/completions 随机文本测试宣称问答系统达标。

结果中要区分窗口平均输出吞吐与瞬时峰值,成功和失败请求都应计入验收说明,不能只展示成功样本的延迟。官方benchmark会保存吞吐、延迟及详细请求信息,具体字段以固定版本为准。0.11.0在线压测实现

逐步加压,找到延迟开始失控的位置

先做不计入结果的加载、编译和算子预热,再从低负载开始增加到达速率,例如1、5、10、20 RPS。只有当前档位稳定,才继续探索更高负载,不必为了“200 RPS”把队列无限堆大。

每个档位建议持续至少5–10分钟,并独立重复3次以上;这是实验设计建议,不是工具强制要求。提高RPS时相应增加请求数,记录实际持续时间、尾部排空时间、失败率和排队趋势。不要把不同轮次的P95直接平均后当成总体P95。

调度:continuous batching已经是机制的一部分

vLLM本身支持continuous batching,会在推理迭代中纳入和移出请求;PagedAttention解决的是KV cache的分页管理。二者不能描述成“默认有分页,但要加一个continuous开关才会连续批处理”。vLLM官方架构解析

--scheduler-policy continuous 不是本文固定版本的有效参数。实际的 --scheduling-policy 用于选择 fcfs、priority 等请求调度规则,也不是启用continuous batching的开关。调度配置源码

值得做对照实验的是这些参数:

参数调整的对象应一起观察
max-num-batched-tokens每次调度迭代的token预算TTFT、ITL、输出吞吐和排队
max-num-seqs一次迭代可调度的序列数量上限活跃请求、KV使用与抢占;它不是网关全局并发限额
chunked prefill将长输入预填充分块,与其他工作交错执行长输入对正在解码请求的影响
gpu-memory-utilization引擎可使用的显存预算KV容量、OOM、预留空间与其他进程

可先固定其他条件,将token预算依次设为2048、4096、8192、16384;再固定选出的预算,测试64、128、256等序列上限。更大的batch可能改善设备利用率,也可能增加等待与生成间隔,最终应选择满足SLO的点。

计算资源利用率也只是辅助信号。它不能单独证明Tensor Core吞吐已经吃满,更不能据此断言瓶颈一定在某个算子。

前缀缓存:测重复前缀,别把重复整题当收益

Automatic Prefix Caching(APC)复用的是相同token前缀对应的KV状态,主要减少重复prefill。它不是缓存上一条完整回答,也不会省略后续token的生成过程。自动前缀缓存说明

在基线命令中,将 --no-enable-prefix-caching 替换为 --enable-prefix-caching,其他配置保持不变。相同的system prompt文本还需要经过相同模板和tokenizer才能形成一致前缀;在开头插入时间戳、随机标识或动态检索内容,都可能改变缓存行为。

用三组数据分清缓存收益

数据条件测什么控制方式
不共享前缀没有业务复用时的开销与性能随机输入,固定长度分布
共享system前缀稳定公共前缀的收益固定约800 tokens前缀,后缀保持不同
真实问答回放实际工作负载收益使用脱敏请求,保留模板、历史轮次和检索内容分布

合成共享前缀时,将benchmark中三项参数改为:

--random-prefix-len 800
--random-input-len 3296
--random-range-ratio 0

在该版本中,random-input-len 是随机后缀的目标长度,总输入目标为 800 + 3296 = 4096。开启与关闭APC都要使用同一份请求序列,不要只给缓存组换一份更容易命中的数据。数据生成参数源码

冷缓存、共享前缀已建立后的稳态和重复回放同一批完整请求,必须分开报告。工具可能先发送验证请求,严格的冷缓存实验应核查预请求行为。不要把重复整批测试导致的大量完整prompt命中,解释为“800 tokens system prompt的收益”。

“命中率71%”首先需要一个分母

在本文固定版本的V1指标中,vllm:prefix_cache_hits_total 与 vllm:prefix_cache_queries_total 按token数量计数。可对同一实例、同一时间窗口计算命中增量除以查询增量;同时排除计数器重置,不应直接平均各实例百分比。指标定义

如果每条输入固定为4096 tokens,只有前800 tokens共享,其余部分互不相同,那么仅靠这段公共前缀,token命中比例大致不超过 800 / 4096 ≈ 19.5%,还要考虑块边界等因素。若测到71%,应检查是否复用了更多历史内容、重复了完整请求,或采用了另一种统计口径。

量化:权重与KV cache必须拆开测

“换成FP8”至少可能指两件事:权重 / 激活采用FP8,或者KV cache采用FP8。它们作用于不同内存和计算路径,不能在同一轮同时更换引擎版本、权重格式和KV精度,然后把全部收益归因于一种量化。

AWQ 4-bit与FP8的显存账

仅按72B参数粗算,不计scales、未量化层和运行时开销:

4-bit 权重理论体积 ≈ 72 × 10^9 × 0.5 字节 ≈ 36 GB
FP8 权重理论体积   ≈ 72 × 10^9 × 1 字节   ≈ 72 GB
BF16 权重理论体积  ≈ 72 × 10^9 × 2 字节   ≈ 144 GB

这里使用十进制GB。FP8相比BF16减少权重体积;相比4-bit权重,理论体积反而更大。TP=8也不能让每张卡的总占用直接等于权重体积除以8:还存在激活、通信缓冲、图捕获、KV cache和分片方式等因素。

因此,若观察到“单卡总占用从38 GB降到31 GB”,需要同时说明测量时点、KV预算和启动配置,不能直接据此声称FP8权重比AWQ更省显存。

两条FP8路径,不混用名称

在vLLM 0.11.0中,给原始BF16 / FP16模型添加 --quantization fp8 可以进行在线动态量化,但其缩放粒度与预先生成的 FP8_DYNAMIC checkpoint不同。后者可采用权重per-channel、激活per-token的方案;前者不能自动等同于这一组合。应保留量化配方、工具版本及checkpoint元数据。0.11.0 FP8说明

KV cache可单独测试:将基线的 --kv-cache-dtype auto 替换为以下两项,权重精度仍保持BF16:

--kv-cache-dtype fp8_e4m3
--calculate-kv-scales

该配置用于验证KV量化路径,不是已经完成质量验收的生产配置。还应检查attention backend支持和实际缩放参数;KV容量变大可能允许更长上下文或更多请求,但不保证首token延迟下降,更不保证吞吐翻倍。量化KV cache说明

质量比较应以相同原始模型及固定业务评测集为参照。企业问答可分别评估答案正确性、引用依据、数值一致性、拒答行为和长上下文表现。BLEU / ROUGE只能提供部分信号;“退化小于0.3%”必须交代具体指标、绝对百分点还是相对变化、样本数及不确定性,不能替代完整业务验收。

用对照实验替代一条不断上涨的曲线

实验共同前提模型 revision / 软件版本 / 输入输出分布 / 到达速率 / 预热与测量窗口B0BF16 基线TP=8;KV 使用 auto明确关闭前缀缓存记录平均吞吐与尾延迟S1…Sn调度参数固定精度与请求逐项调整 token 预算再调整序列数量上限C0 / C1前缀缓存同一组共享前缀请求仅切换 APC 开 / 关分清冷缓存与稳态W1 权重/激活量化保留 KV 精度,记录具体量化配方。在线 FP8 与预量化 FP8 checkpoint 分开。K1 KV cache 量化保留权重精度,检查后端与缩放参数。容量增加不代表首 token 延迟一定下降。WK1 组合验证与最终验收重新测量:输出吞吐 + 成功率 + TTFT / ITL / E2EL + 业务质量只有同一负载下满足要求,才能用于生产容量规划。实验设计示意,图中不包含性能测量结果。图 2:每个阶段保留对照组;组合收益需要重新测量,不能将独立收益百分比直接相加。

建议按下面的实验矩阵执行。表中是待执行的配置设计,不包含测量结果:

实验权重 / KV前缀缓存目的
B0BF16 / auto关闭建立明确基线
S1…Sn与B0相同关闭扫描token预算和序列上限
C0 / C1使用相同选定配置关闭 / 开启在同一共享前缀数据集上比较APC
W1指定FP8权重方案 / auto与对照相同单独评估权重 / 激活量化
K1BF16 / FP8 KV与对照相同单独评估KV量化
WK1指定FP8权重方案 / FP8 KV与对照相同验证组合效果与质量

如需与AWQ比较,再加入来源、revision和量化配方明确的AWQ组。改变vLLM版本时,单独建立版本对照。8张卡还可以比较TP=8单实例与TP=4双实例,但要重新验证显存、路由、共享前缀在各实例的分布及故障恢复,不能只按卡数推算收益。

每轮至少归档启动命令、配置、服务日志、压测JSON、实际长度分布、缓存条件、错误样本、计算资源指标和质量评测结果。文件名包含实验编号、负载档位、重复次数,避免下一轮覆盖上一轮。

怎样写一个可以对外复核的性能结论

只有在得到原始记录后,才应将“4500 tokens/s”写成实测成绩。发布时至少同时给出:

  1. 精确硬件、拓扑、模型revision、量化方案和软件版本。
  2. 输入 / 输出长度分布、请求到达方式、缓存冷暖状态及测试窗口。
  3. 窗口平均输出吞吐、成功请求吞吐、失败率和重复实验的波动范围。
  4. 同一负载下的P95 / P99 TTFT、TPOT或ITL、完整响应延迟及SLO达成情况。
  5. 量化前后的业务质量结果,以及测试数据与原始记录的可访问范围。

4500 × 86400 = 388,800,000,约为每天3.888亿输出tokens,但这只是连续满负载运行24小时的算术换算。它没有计入维护、流量波动、冗余、质量和延迟约束,不能直接作为日服务能力承诺。

同样,“一台顶六台A100节点”需要同模型、同精度、同长度分布、同SLO和同统计窗口的实测对照;没有这些条件,不能给出等效节点数。工作台或容器平台提供启动入口,也不代表跨用户环境可以复现同一性能数字。

对于在线问答,最终选择应是:在业务质量达标、失败率可接受且延迟满足要求的前提下,获得最高的可持续服务吞吐。 单次峰值可以用于定位系统上限,生产容量则需要更完整的证据。

说明

技术说明:本文示例针对固定版本源码进行静态核对,未在H800A节点执行压测。两张配图为原创示意;容量数字为公式换算,未使用模拟数据冒充实测曲线。

最后更新于

这篇文档对你有帮助吗?

目录