以单机8卡为例,建立可复核的在线压测基线,分开验证调度、前缀缓存、FP8权重与KV cache,并用延迟约束评估实际服务容量。
“单机8卡达到4500 tokens/s”看起来是一个清晰的性能目标,但要把它用于企业问答系统的容量规划,还缺少几个条件:统计的是输入还是输出token?每个请求有多长?前缀缓存是否已经预热?这个吞吐下,P95首token延迟还能否满足800 ms?
本文面向交付型号标记为H800A的8卡节点,给出一套从基线到调优、再到验收的压测方法。4500 tokens/s在本文中是待验证的输出吞吐目标,不是已经复核的实测结果。 文中的数值计算会标为理论换算,命令会标明示例条件。
先固定模型与硬件,避免测错对象
模型名称必须能追溯到仓库和revision
Qwen官方最初发布的Qwen3模型包括32B等稠密模型,以及30B-A3B、235B-A22B等MoE模型,该发布清单没有 Qwen3-72B-Instruct。不能用一个未确认的模型简称替代实际仓库,也不能把Qwen2.5的结果转写成Qwen3的结果。Qwen3官方发布说明
为提供明确的命令示例,本文选用已公开的 Qwen/Qwen2.5-72B-Instruct,并从BF16基线开始。它是示例对象,不能证明某个量化模型或其他模型版本具有相同性能。官方模型卡
提前将选定revision的权重、配置和tokenizer准备在本地目录 /models/Qwen2.5-72B-Instruct。记录提交哈希与文件校验信息;NVMe本地缓存可以缩短加载时间,但模型加载完后,不能直接把持续生成吞吐的提升归因于NVMe。
“8卡H800A”不是完整的测试环境说明
节点产品名不能替代设备信息。至少保留以下记录:
| 类别 | 必须记录的内容 |
|---|---|
| GPU | nvidia-smi 返回的型号、UUID、单卡显存、功耗限制、驱动版本 |
| 拓扑 | nvidia-smi topo -m、NVLink状态及通信测试结果;不能从卡数推断全互联 |
| 主机 | CPU、NUMA、内存、操作系统、容器或环境版本 |
| 软件 | vLLM、PyTorch、CUDA构建版本、NCCL、实际attention / quantization backend |
| 模型 | 仓库、revision、tokenizer、模板、量化配置、是否启用推理思考模式 |
| 请求 | 输入输出长度分布、请求到达速率、数据版本、缓存条件与采样参数 |
mkdir -p results
nvidia-smi -q > results/gpu-info.txt
nvidia-smi topo -m > results/gpu-topology.txt
python -c 'import vllm, torch; print("vllm", vllm.__version__); print("torch", torch.__version__); print("torch CUDA", torch.version.cuda)' \
> results/software-versions.txt下面的CLI示例按 vLLM 0.11.0 源码核对,用于固定教程语义,不代表最新版本或生产推荐版本。使用其他版本时,先检查 vllm serve --help 与 vllm bench serve --help,不要将多个历史版本的参数和结果拼在一起比较。
先算清楚:4500 tokens/s能服务多少请求
企业问答需要同时观察吞吐与延迟。建议至少报告以下指标:
| 指标 | 本文采用的含义 |
|---|---|
| 输出吞吐,output tokens/s | 成功完成请求的实际输出token总数,除以对应测量窗口时长 |
| 总token吞吐 | 输入加输出token的统计值;必须与输出吞吐分开命名 |
| 请求吞吐,requests/s | 单位时间成功完成的请求数 |
| TTFT | 从客户端发起模型请求到收到首个输出token的时间,报告P50 / P95 / P99 |
| TPOT / ITL | 分别关注每个请求首token后的平均生成间隔,以及流式输出间隔分布;两者不是同一个统计量 |
| 端到端延迟,E2EL | 一个请求从发出到完整响应结束的时间 |
| Goodput | 单位时间内成功完成且满足所设延迟阈值的请求数;注明使用了哪些阈值 |
前端“首屏延迟”还可能包含鉴权、检索、重排、业务网关和渲染时间,不能与仅测模型接口的TTFT混用。
200 RPS与并发200,是两个不同需求
RPS描述每秒到达或完成多少请求;并发数描述同时处于系统中的请求数。稳定系统中可以用Little定律辅助估算:平均在途请求数约等于到达速率乘以平均请求停留时间。
如果 4500是输出tokens/s,且平均每个请求输出256 tokens,那么在相同稳态统计口径下:
成功请求吞吐 ≈ 4500 ÷ 256 ≈ 17.6 requests/s
200 requests/s 所需输出吞吐 ≈ 200 × 256 = 51,200 tokens/s
4500 tokens/s 支撑 200 requests/s,对应平均输出长度约 22.5 tokens因此,验收需求应写成“在某个输入输出分布下,持续接收多少RPS,成功率达到多少,并满足哪些延迟分位数”,不能只保留一个tokens/s数字。若排队持续增长,就还没有达到可持续的服务状态。
建立可复核的在线基线
离线批量生成适合探索吞吐上限;P95 TTFT和在线排队行为需要通过流式接口测量。数据集叫作“ShareGPT-4k”,也不意味着每条输入恰好4096 tokens:还应记录文件哈希、筛选条件、模板和实际长度分布。
启动一个明确配置的服务
下面假设8张GPU已可见,显存和软件环境能容纳所选BF16模型,并且没有其他任务争抢资源。命令在Linux的已安装vLLM 0.11.0环境中执行:
vllm serve /models/Qwen2.5-72B-Instruct \
--served-model-name qwen72b-bench \
--host 127.0.0.1 \
--port 8000 \
--tensor-parallel-size 8 \
--dtype bfloat16 \
--kv-cache-dtype auto \
--gpu-memory-utilization 0.90 \
--max-model-len 8192 \
--max-num-seqs 128 \
--max-num-batched-tokens 4096 \
--enable-chunked-prefill \
--no-enable-prefix-caching这些值是实验起点,不是最佳参数。这里显式关闭prefix caching,方便后续做对照;显式保留chunked prefill,避免不同默认值污染实验。gpu-memory-utilization 是引擎显存预算配置,不能理解成“权重占用比例”。启动日志中应确认实际并行方式、后端及KV cache容量。0.11.0参数实现
先做一次合成负载验证
服务启动后,在另一终端运行同版本的benchmark。客户端需要能读取相同tokenizer。本例走本机回环地址,测量模型服务链路;业务入口和跨网络测试应另做一组。
mkdir -p results
vllm bench serve \
--backend openai \
--base-url http://127.0.0.1:8000 \
--endpoint /v1/completions \
--model /models/Qwen2.5-72B-Instruct \
--served-model-name qwen72b-bench \
--dataset-name random \
--random-input-len 4096 \
--random-output-len 256 \
--random-range-ratio 0 \
--random-prefix-len 0 \
--num-prompts 1000 \
--request-rate 5 \
--seed 17 \
--ignore-eos \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,95,99 \
--goodput ttft:800 \
--save-result \
--save-detailed \
--result-dir results \
--result-filename baseline-rps5.json这组命令用于确认测量链路,不等于生产验收:
- 输入输出长度是生成目标,最终以tokenizer和结果中的实际统计为准。
--ignore-eos用于控制合成测试的输出长度;真实问答回放应保留实际停止条件。--goodput ttft:800只按TTFT阈值计算goodput,未包含TPOT、完整响应延迟或质量要求,也不是“P95达标率”的同义词。--request-rate 5是配置的请求到达速率;还要确认压测客户端没有成为瓶颈。- 对话接口、聊天模板和业务检索链路需要另外回放,不能仅凭
/v1/completions随机文本测试宣称问答系统达标。
结果中要区分窗口平均输出吞吐与瞬时峰值,成功和失败请求都应计入验收说明,不能只展示成功样本的延迟。官方benchmark会保存吞吐、延迟及详细请求信息,具体字段以固定版本为准。0.11.0在线压测实现
逐步加压,找到延迟开始失控的位置
先做不计入结果的加载、编译和算子预热,再从低负载开始增加到达速率,例如1、5、10、20 RPS。只有当前档位稳定,才继续探索更高负载,不必为了“200 RPS”把队列无限堆大。
每个档位建议持续至少5–10分钟,并独立重复3次以上;这是实验设计建议,不是工具强制要求。提高RPS时相应增加请求数,记录实际持续时间、尾部排空时间、失败率和排队趋势。不要把不同轮次的P95直接平均后当成总体P95。
调度:continuous batching已经是机制的一部分
vLLM本身支持continuous batching,会在推理迭代中纳入和移出请求;PagedAttention解决的是KV cache的分页管理。二者不能描述成“默认有分页,但要加一个continuous开关才会连续批处理”。vLLM官方架构解析
--scheduler-policy continuous 不是本文固定版本的有效参数。实际的 --scheduling-policy 用于选择 fcfs、priority 等请求调度规则,也不是启用continuous batching的开关。调度配置源码
值得做对照实验的是这些参数:
| 参数 | 调整的对象 | 应一起观察 |
|---|---|---|
max-num-batched-tokens | 每次调度迭代的token预算 | TTFT、ITL、输出吞吐和排队 |
max-num-seqs | 一次迭代可调度的序列数量上限 | 活跃请求、KV使用与抢占;它不是网关全局并发限额 |
| chunked prefill | 将长输入预填充分块,与其他工作交错执行 | 长输入对正在解码请求的影响 |
gpu-memory-utilization | 引擎可使用的显存预算 | KV容量、OOM、预留空间与其他进程 |
可先固定其他条件,将token预算依次设为2048、4096、8192、16384;再固定选出的预算,测试64、128、256等序列上限。更大的batch可能改善设备利用率,也可能增加等待与生成间隔,最终应选择满足SLO的点。
计算资源利用率也只是辅助信号。它不能单独证明Tensor Core吞吐已经吃满,更不能据此断言瓶颈一定在某个算子。
前缀缓存:测重复前缀,别把重复整题当收益
Automatic Prefix Caching(APC)复用的是相同token前缀对应的KV状态,主要减少重复prefill。它不是缓存上一条完整回答,也不会省略后续token的生成过程。自动前缀缓存说明
在基线命令中,将 --no-enable-prefix-caching 替换为 --enable-prefix-caching,其他配置保持不变。相同的system prompt文本还需要经过相同模板和tokenizer才能形成一致前缀;在开头插入时间戳、随机标识或动态检索内容,都可能改变缓存行为。
用三组数据分清缓存收益
| 数据条件 | 测什么 | 控制方式 |
|---|---|---|
| 不共享前缀 | 没有业务复用时的开销与性能 | 随机输入,固定长度分布 |
| 共享system前缀 | 稳定公共前缀的收益 | 固定约800 tokens前缀,后缀保持不同 |
| 真实问答回放 | 实际工作负载收益 | 使用脱敏请求,保留模板、历史轮次和检索内容分布 |
合成共享前缀时,将benchmark中三项参数改为:
--random-prefix-len 800
--random-input-len 3296
--random-range-ratio 0在该版本中,random-input-len 是随机后缀的目标长度,总输入目标为 800 + 3296 = 4096。开启与关闭APC都要使用同一份请求序列,不要只给缓存组换一份更容易命中的数据。数据生成参数源码
冷缓存、共享前缀已建立后的稳态和重复回放同一批完整请求,必须分开报告。工具可能先发送验证请求,严格的冷缓存实验应核查预请求行为。不要把重复整批测试导致的大量完整prompt命中,解释为“800 tokens system prompt的收益”。
“命中率71%”首先需要一个分母
在本文固定版本的V1指标中,vllm:prefix_cache_hits_total 与 vllm:prefix_cache_queries_total 按token数量计数。可对同一实例、同一时间窗口计算命中增量除以查询增量;同时排除计数器重置,不应直接平均各实例百分比。指标定义
如果每条输入固定为4096 tokens,只有前800 tokens共享,其余部分互不相同,那么仅靠这段公共前缀,token命中比例大致不超过 800 / 4096 ≈ 19.5%,还要考虑块边界等因素。若测到71%,应检查是否复用了更多历史内容、重复了完整请求,或采用了另一种统计口径。
量化:权重与KV cache必须拆开测
“换成FP8”至少可能指两件事:权重 / 激活采用FP8,或者KV cache采用FP8。它们作用于不同内存和计算路径,不能在同一轮同时更换引擎版本、权重格式和KV精度,然后把全部收益归因于一种量化。
AWQ 4-bit与FP8的显存账
仅按72B参数粗算,不计scales、未量化层和运行时开销:
4-bit 权重理论体积 ≈ 72 × 10^9 × 0.5 字节 ≈ 36 GB
FP8 权重理论体积 ≈ 72 × 10^9 × 1 字节 ≈ 72 GB
BF16 权重理论体积 ≈ 72 × 10^9 × 2 字节 ≈ 144 GB这里使用十进制GB。FP8相比BF16减少权重体积;相比4-bit权重,理论体积反而更大。TP=8也不能让每张卡的总占用直接等于权重体积除以8:还存在激活、通信缓冲、图捕获、KV cache和分片方式等因素。
因此,若观察到“单卡总占用从38 GB降到31 GB”,需要同时说明测量时点、KV预算和启动配置,不能直接据此声称FP8权重比AWQ更省显存。
两条FP8路径,不混用名称
在vLLM 0.11.0中,给原始BF16 / FP16模型添加 --quantization fp8 可以进行在线动态量化,但其缩放粒度与预先生成的 FP8_DYNAMIC checkpoint不同。后者可采用权重per-channel、激活per-token的方案;前者不能自动等同于这一组合。应保留量化配方、工具版本及checkpoint元数据。0.11.0 FP8说明
KV cache可单独测试:将基线的 --kv-cache-dtype auto 替换为以下两项,权重精度仍保持BF16:
--kv-cache-dtype fp8_e4m3
--calculate-kv-scales该配置用于验证KV量化路径,不是已经完成质量验收的生产配置。还应检查attention backend支持和实际缩放参数;KV容量变大可能允许更长上下文或更多请求,但不保证首token延迟下降,更不保证吞吐翻倍。量化KV cache说明
质量比较应以相同原始模型及固定业务评测集为参照。企业问答可分别评估答案正确性、引用依据、数值一致性、拒答行为和长上下文表现。BLEU / ROUGE只能提供部分信号;“退化小于0.3%”必须交代具体指标、绝对百分点还是相对变化、样本数及不确定性,不能替代完整业务验收。
用对照实验替代一条不断上涨的曲线
建议按下面的实验矩阵执行。表中是待执行的配置设计,不包含测量结果:
| 实验 | 权重 / KV | 前缀缓存 | 目的 |
|---|---|---|---|
| B0 | BF16 / auto | 关闭 | 建立明确基线 |
| S1…Sn | 与B0相同 | 关闭 | 扫描token预算和序列上限 |
| C0 / C1 | 使用相同选定配置 | 关闭 / 开启 | 在同一共享前缀数据集上比较APC |
| W1 | 指定FP8权重方案 / auto | 与对照相同 | 单独评估权重 / 激活量化 |
| K1 | BF16 / FP8 KV | 与对照相同 | 单独评估KV量化 |
| WK1 | 指定FP8权重方案 / FP8 KV | 与对照相同 | 验证组合效果与质量 |
如需与AWQ比较,再加入来源、revision和量化配方明确的AWQ组。改变vLLM版本时,单独建立版本对照。8张卡还可以比较TP=8单实例与TP=4双实例,但要重新验证显存、路由、共享前缀在各实例的分布及故障恢复,不能只按卡数推算收益。
每轮至少归档启动命令、配置、服务日志、压测JSON、实际长度分布、缓存条件、错误样本、计算资源指标和质量评测结果。文件名包含实验编号、负载档位、重复次数,避免下一轮覆盖上一轮。
怎样写一个可以对外复核的性能结论
只有在得到原始记录后,才应将“4500 tokens/s”写成实测成绩。发布时至少同时给出:
- 精确硬件、拓扑、模型revision、量化方案和软件版本。
- 输入 / 输出长度分布、请求到达方式、缓存冷暖状态及测试窗口。
- 窗口平均输出吞吐、成功请求吞吐、失败率和重复实验的波动范围。
- 同一负载下的P95 / P99 TTFT、TPOT或ITL、完整响应延迟及SLO达成情况。
- 量化前后的业务质量结果,以及测试数据与原始记录的可访问范围。
4500 × 86400 = 388,800,000,约为每天3.888亿输出tokens,但这只是连续满负载运行24小时的算术换算。它没有计入维护、流量波动、冗余、质量和延迟约束,不能直接作为日服务能力承诺。
同样,“一台顶六台A100节点”需要同模型、同精度、同长度分布、同SLO和同统计窗口的实测对照;没有这些条件,不能给出等效节点数。工作台或容器平台提供启动入口,也不代表跨用户环境可以复现同一性能数字。
对于在线问答,最终选择应是:在业务质量达标、失败率可接受且延迟满足要求的前提下,获得最高的可持续服务吞吐。 单次峰值可以用于定位系统上限,生产容量则需要更完整的证据。
说明
技术说明:本文示例针对固定版本源码进行静态核对,未在H800A节点执行压测。两张配图为原创示意;容量数字为公式换算,未使用模拟数据冒充实测曲线。
最后更新于
