九章智算云
AI从业者必读:从工作负载到TCO的算力选型指南

用业务指标定义算力需求,用真实负载验证硬件、网络与软件组合,再通过TCO、容量保障和退出机制比较供应商。附成本算例与评估模板。

一张卡便宜,不代表一次训练便宜;一个接口每百万token报价低,也不代表完成一次业务任务的成本低。等待资源、失败重跑、模型适配、数据搬迁和长期闲置,都可能改变最终结果。

算力选型需要把工程与经营放在同一张表上讨论:业务要求什么结果,系统以什么速度交付,为此承担多少完整成本,以及需求变化后能否调整。

本文提供一套独立可用的决策框架。型号和技术路线用于解释评估方法,不构成现货、供货许可或性能保证;文中成本数字均为明确标注的假设算例。

先统一四条原则

需求导向:先定验收结果,再列设备清单。 训练、在线推理、离线处理和实验开发的目标不同,不应全部按最高规格配置。

比较有效产出:看单位业务成本,而不只看卡价。 同时满足质量、时延和成功率要求的结果,才应进入有效产出的分母。FinOps的单位经济性方法也强调,将技术消耗与业务结果联系起来。FinOps Foundation:Unit Economics

保留调整空间:用合同和架构承接不确定性。 不必假设硬件一定使用五年、模型一定半年换代。应按业务预测设置多个需求情景,并明确扩缩容、换型、迁移和退出的条件。

把硬性约束放到前面。 数据处理地域、资源隔离、软件授权、交付期限和合法供给条件,应在测试和报价前确认;不满足硬性条件的方案不进入价格排序。

第一步:把工作负载写成能验收的需求

先分业务,再分用量形态

“训练/推理/实验”描述工作内容;“稳态/波动态/探索态”描述需求的确定性。两者应交叉使用。在线推理可能有明显波峰,训练任务也可能全年持续运行。

用量形态典型情况优先考虑候选供给方式
稳态持续的生产推理、固定节奏的训练容量保障、单位成本、稳定性专属资源、长期租赁、自建或承诺用量
波动态活动峰值、阶段性训练、集中批处理扩容速度、峰值配额、启动时间基础容量加按需资源;提前预约关键窗口
探索态新模型试验、短期研究、框架迁移验证启动成本、环境灵活性、试错速度短租、共享池;可恢复任务可评估抢占式资源

“可以排队”与“可以被中断”是不同要求。抢占式实例适合能保存进度、恢复任务的场景,但要把中断、checkpoint和重新排队的成本算进去;不同平台的通知与回收语义需要分别验证。AWS Spot中断通知说明

不同业务使用不同的主指标

工作负载主要验收指标必须固定的条件容易遗漏的成本
预训练/全量训练达到目标质量所需的时间、总费用;稳态有效tokens/s数据集、模型、精度、全局batch、序列长度、质量目标排队、checkpoint、故障重跑、数据供给
LoRA/参数高效微调达到目标效果的实验费用与完成时间基座模型、量化方式、训练长度、适配配置数据准备、评估、环境配置与恢复
在线LLM推理质量达标时的成功请求吞吐、TTFT、ITL与端到端尾延迟输入/输出长度分布、并发与到达方式、缓存条件冗余副本、峰值预留、空闲时间、失败重试
图像/视频等离线处理每个合格结果的费用和批次完成时间分辨率、帧数、生成步数、质量标准输出存储、筛选重做、数据传输
RAG/Agent系统每个正确完成任务的费用、时延和成功率检索流程、工具调用、模型路由和重试规则向量检索、外部工具、长上下文、多轮调用
边缘与具身智能在目标功耗和环境下的任务时延、稳定性传感器输入、预处理、精度、热条件整机散热、现场维护、升级与备用设备

TTFT是首token延迟,ITL是相邻输出token的间隔。在线业务还应观察端到端时延,不能用离线最大吞吐替代用户体验。

MLPerf Training关注达到指定质量目标的训练时间,MLPerf Inference则按场景规定性能、质量与时延条件。公开基准适合初筛,采购验收仍需自己的负载与数据。MLPerf Training、MLPerf Inference

第二步:按瓶颈选组合,不按型号贴标签

用两条轴做初筛

“大规模训练、高并发推理、边缘、国产替代”并不是四个互斥象限:国产加速卡也可以用于训练或边缘场景。更实用的初筛方法,是先看显存容量压力和跨设备通信压力,再验证计算、带宽与软件适配。

高并发分布式小模型低显存 · 高通信重点验证副本扩缩与负载均衡机内 / 机间互联带宽调度与排队上限大规模训练 / 大模型切分高显存 · 高通信重点验证机间网络与集合通信checkpoint 与故障恢复数据供给与存储吞吐单卡推理 / 边缘与实验低显存 · 低通信重点验证功耗、散热与整机规格单次成本与迭代速度环境可复用性单卡 / 少卡大模型推理高显存 · 低通信重点验证显存容量与 KV cache权重加载与显存带宽量化精度与回退路径跨设备通信压力高低显存容量压力低高图 1:压力相对于候选设备及部署方案而言,同一个业务在改变模型、精度或并行方式后可能落入不同象限。图中示例不代表型号推荐。

显存先算“能不能跑”,再测“能跑多快”

推理显存预算至少包括:显存需求 = 权重 + KV cache + 激活/临时缓冲 + 运行时与通信开销

以700亿参数的稠密模型为例,仅按每个参数2字节存放权重,约需要 140 GB,即约130.4 GiB。这只是权重存储量,不包含KV cache等部分,也不等于部署所需的总显存。

训练还要考虑梯度、优化器状态、可能存在的主权重,以及激活保存或重计算;分片策略会改变单卡需求。MoE模型的每token激活参数量,也不能直接代替需要保存或调入的总权重规模。

多张卡的显存容量之和并不自动成为一块无成本的大显存。模型切分、通信缓冲、算子支持和互联路径,都可能限制实际部署。

再比较计算、带宽和软件

维度要问的问题应获得的证据
显存容量/带宽最大上下文与并发能否容纳?是否受内存读写限制?峰值显存、OOM边界、不同batch下的吞吐曲线
计算能力实际算子能否使用所选精度和高效内核?算子覆盖、质量回归、端到端压测
机内互联模型切分后通信开销是否可接受?加速卡拓扑、集合通信与真实应用时间线
跨节点网络带宽、长尾和故障状态是否满足并行任务?同负载下的RDMA测试、拥塞与错误记录
软件生态框架、自定义算子、分布式库能否完整运行?固定版本的安装、正确性、性能与恢复测试
运维与供给功耗、散热、维修、配额和替换是否有保障?整机规格、合同、容量预留及故障演练

例如,H200的官方规格包含141 GB HBM3e和4.8 TB/s显存带宽,但这些参数不能推出某个训练任务一定比A100便宜多少。不同型号的MFU还使用不同的理论峰值作为分母,不能单独拿MFU倍数当作速度或TCO倍数。NVIDIA H200规格

FP8、FP4或其他量化方式也要核对具体硬件、后端与算子支持,并保留质量测试。精度名称相同,不代表计算路径相同。vLLM量化支持说明

网络与存储要跟着数据流设计

训练不必一律使用InfiniBand,推理也不必一律使用PCIe加RoCE。单设备推理可能不依赖高速跨卡通信;多卡模型分片推理则可能非常依赖机内互联。IB与RoCE都应结合拓扑、拥塞控制、运维能力及实际并行组测试选择。

Fat-Tree、Dragonfly+ 描述网络结构,rail-optimized描述一种组织连接与放置的方式,并不是三个完全同层、互斥的选项。通信占比也应从真实时间线测量,不能套用“千卡训练固定有30% 时间用于AllReduce”。

存储侧应分别测试数据集读取、checkpoint写入/恢复,以及模型加载。GPUDirect Storage能在受支持的组合中优化存储到加速卡的数据路径,但它需要相应文件系统、驱动与配置,不是开启后就能消除所有I/O瓶颈。GPUDirect Storage概览

本地NVMe可缩短权重加载与部分数据读取时间;运行中的KV cache通常首先占用加速卡显存,不能把权重缓存命中率当成KV cache命中率。采用分层KV存储时,还需测量搬移带宽与额外延迟。

第三步:比较部署模式与完整TCO

先区分“租设备”与“买模型服务”

模式适用前提主要取舍合同需要确认
自建需求有足够可见性,具备机房和运维能力前期投入、持续容量与资产风险交付、维保、备件、供电散热与残值处置
长期租赁/专属资源有稳定用量,希望锁定容量固定支出、长期单价与灵活性最低期限、降配、换型、提前退出与资源独占范围
按需加速卡实例用量不确定或需要弹性无长约不代表随时有容量区域配额、库存、计费粒度、停机收费和启动时间
共享/池化资源任务可排队,能够接受明确的共享边界资源利用率与性能波动可见资源、配额、公平性、隔离与排队上限
托管模型API接受提供方的模型、接口与数据处理方式减少平台运维,但模型和数据路径控制不同输入/输出/缓存计费、限流、版本变更、数据保留和退出

池化是资源组织方式,公有云或智算云是服务形态,按需/包年是计费方式;选型时不要将它们当作互斥选项。

TCO的边界必须一致

在相同评估周期内,TCO(总拥有成本)应统一核算设备购置或租赁费用,以及网络、存储、机房、电力与散热、软件许可、运维支持、模型适配、数据迁移与上线、退出交接与数据导出等相关成本,并扣除可实现的残值或退款,以确保不同算力方案之间的成本比较口径一致。

自建按现金支出计算时,不要再把同一设备折旧加一次;按月分摊时,也不要把全额采购价重复计入。税费、汇率、成本分摊与评估周期应保持一致,长期资金成本可按企业采用的方法另行评估。

失败重跑、空闲与预热消耗应体现在实际资源费用里,避免重复加总。延期或业务损失属于情景风险,应与已经发生的现金支出分开展示。

用单位有效产出解释成本

训练单位成本 = 完成目标训练所需的完整费用 / 达到质量目标的训练成果数
推理单位成本 = 同期完整费用 / 同期满足质量与 SLO 的有效产出

有效产出可以是合格请求、处理完成的文档或正确完成的任务。如果使用token单位,必须注明输入、输出、缓存、失败请求及模型版本的口径。不同tokenizer、质量和任务流程下,每百万token的价格不一定可比。

例如,假设某月完整费用为60,000元,按约定口径交付15亿个有效输出token,则对应40元/百万有效输出token。这是算术示例,不是市场报价;业务还应核对这些token带来了多少合格任务。

一个成本拐点算例

假设两种方案使用同规格资源,完成相同任务所需的节点小时相同,且容量与服务条件已通过验收。为演示计算,设定以下假想费用:

  • 长期方案:每月固定费用 F=30,000 元,每使用一小时另有 v=8 元的增量成本;固定费用已包含不随用量变化的成本。
  • 按需方案:每使用一小时的同口径费用 p=80 元,无其他固定费用。
  • h 为当月完成这批任务所需的节点小时;示例按30天、720小时计算,不把它称作加速卡利用率。
长期方案月成本 = F + v × h
按需方案月成本 = p × h
两者相等时:h* = F / (p - v)
                 = 30,000 / (80 - 8)
                 ≈ 416.7 小时
月使用小时长期方案按需方案在本算例中的低成本方案
200 h31,600元16,000元按需
500 h34,000元40,000元长期
720 h35,760元57,600元长期
01 万2 万3 万4 万5 万6 万0120240360480600720月使用小时(h)月成本(元)按需更低长期更低≈ 416.7 h416.7按需方案:80 元 / h长期方案:30,000 元 + 8 元 / h图 2:仅为假设算例,交点约为月度 720 小时的 57.9%。不代表真实采购阈值,未计入两方案之间的容量或性能差异。

公式要求 p > v;交点若超过可使用时长,则在该周期内不会因增加用量而出现长期方案成本优势。真实场景还要纳入启动、空闲计费、折扣、存储与出网费用,并考虑任务是否集中到单一资源无法承载的峰值时段。

如果两种设备速度不同,应先根据实测结果计算各自完成同一需求所需的时间,再比较总费用。不要分别假设两套系统都满载,再用更高的理论产出来证明其中一套更便宜。

附件包含本算例的 成本数据,可据实替换参数重新计算。

第四步:供应商五维评估,先过门槛再评分

评分前先检查硬性门槛:合法供给与交付、数据处理地域、目标质量、安全隔离、关键SLO、数据导出及清理能力。任何必需项不满足,都不能靠低价或总分补足。

通过门槛后,可使用以下示例权重。权重应在报价与PoC前确定,避免看到结果后调整标准。

维度示例权重应评价什么需要什么证据
性能30%目标质量与时延下的有效产出,训练完成时间原始测试结果、版本与完整配置
可靠性20%可用性、故障影响、恢复与容量保障故障口径、演练记录、SLA排除条款和赔付方式
成本25%同周期TCO与用量敏感性分项报价、最低消费、附加费用和退出费用
服务15%响应、定位、恢复能力及升级路径值班安排、工单样本、支持边界和恢复演练
合规与可迁移性10%数据处理控制、适用资质、授权与退出能力合同、报告适用范围、导出测试和清理证明

每项按预先确定的规则评0–5分,总分为 100 × Σ(权重比例 × 得分 ÷ 5),其中30% 对应0.30,满分100。未验证项标为“待验证”,不要自动补成平均分;涉及硬性门槛的待验证项不能视为已通过。

“首次响应15分钟”不等于“15分钟恢复”,“SLA赔付”也不等于业务损失得到补偿。节点故障率需要有设备数量、时间窗口和故障定义,不能比较两个没有分母的百分数。

附件提供 供应商评分空表。

PoC至少覆盖五个环节

  1. 正确性与质量。 在相同模型版本、数据集和质量标准下,对比优化前后的输出结果,评估量化、算子替换等优化对模型精度与业务效果的影响。
  2. 常态与长尾。 基于真实请求分布,覆盖长上下文、缓存冷启动与热缓存、峰值流量等场景,记录请求成功率、吞吐量及尾延迟。
  3. 持续运行。 在稳定负载下持续测试,监测显存占用、性能波动、数据加载效率及多租户资源竞争,识别长时间运行中的性能退化。
  4. 故障与恢复。 模拟Checkpoint恢复、任务重试、副本失效及资源中断等场景,验证服务恢复能力,并记录恢复时间、数据损失风险与额外成本。
  5. 退出与迁移。 实际导出模型权重、业务数据、运行配置及日志,并在另一套环境中完成部署与结果校验,记录迁移耗时、网络带宽、资源消耗及相关费用。

报价和性能必须绑定同一资源粒度:单卡、八卡节点、独占实例和共享切片不能直接混排。所有测试应保留软硬件版本、精度、并行方式、样本数及原始记录。

2026年值得跟踪的六个方向

技术趋势应转化成采购问题,而不是直接变成预算结论。

方向对选型的实际影响采购时应该追问
机架级互联与光互联系统扩展越来越依赖网络、供电、散热和维护能力当前可交付的具体配置是什么?故障与扩容如何处理?
低精度与软硬协同可能改变吞吐和显存需求,也可能增加适配与评估成本哪些算子真正使用目标精度?质量和回退路径如何验证?
Agent与多阶段推理调用链、工具等待、缓存和重试影响最终费用每个成功任务调用几次模型?计算之外的成本占多少?
能耗与碳排计量应关注完成同样业务的整体能耗统计的是加速卡、整机还是机房?是否包含空闲与硬件隐含排放?
异构编译与运行时有助于复用部分代码,但不会自动消除算子和通信适配当前模型、自定义算子、精度和后端版本是否实测通过?
多样化模型服务定价token、缓存、批处理、图像与工具调用的计费方式并存业务完整账单是什么?价格与模型版本变更如何处理?

CPO(共封装光学)相关产品说明涉及交换机和互联系统,不能直接推导为“单卡互联带宽统一翻倍”。应区分发布、可下单与实际交付,按具体产品核对。NVIDIA Silicon Photonics

MLIR是可复用、可扩展的编译基础设施,不是所有加速卡都能无修改运行同一训练栈的保证。软件迁移周期应由真实模型验证后估算,不能统一承诺“一到三个月”。MLIR项目说明

能效也应使用清晰边界,例如每个有效任务的kWh;碳排还涉及用电碳强度及硬件隐含排放分摊,不能只看TDP或每瓦峰值算力。Software Carbon Intensity规范

五类常见场景,怎样使用这套方法?

以下是决策示例,不是客户实测案例。

场景建议的验证顺序避免直接下的结论
实验室共享池统计预约/占用/有效运行时间,验证配额、排队、公平性与环境复用池化后利用率提高,就一定增加同等比例的科研产出
初创生成式应用比较API、按需实例与基础容量,计入峰值、存储和失败重试图像生成都按token计费,或不备机器就没有峰值成本
学生LoRA项目小规模验证目标模型、量化方式、上下文与batch的显存;确认checkpoint可恢复任意7B微调都能在一张消费级卡上稳定完成
小众科研架构先运行关键算子、复数计算、自动求导与数值正确性测试,再评估支持服务某类国产卡天然更适合所有小众模型
具身智能/VLA分别验收训练、仿真、数据处理和端侧推理;测量部署转换后的效果训练能跑通,就代表边缘设备满足实时性和热设计要求

异构和国产方案应与其他候选使用相同的业务验收标准,同时单列迁移工作量、维护负担与后续模型升级成本。这样才能分清收益来自硬件、软件优化还是支持服务。

把合规与退出机制写进采购前置条件

出口与供给条件不能只按型号名称判断,还涉及交易主体、最终用途、目的地、许可和当前规则。签约前应由采购与合规团队核对供应链及适用要求,并约定无法交付或条件变化时的处理方式。例如,BIS在2026年5月的说明中专门澄清了部分先进计算物项对交易主体及其母公司所在地的许可要求,不能只看设备所在地区。美国BIS先进计算许可执行说明

“购买算力”也不自动等于“必须完成某一类模型备案”。例如,《生成式人工智能服务管理暂行办法》对面向境内公众提供服务等适用范围作了规定,具体义务要结合业务判断;内部研发不适用该办法的某些范围,并不意味着其他数据或安全要求消失。国家网信办正式文本

合同和架构评审应明确数据存放地、备份与日志范围、管理员权限、分包关系、删除与回收流程,以及退出时数据和模型能否完整导出。资质或测评报告必须核对适用系统与范围,不能只看供应商展示的证书名称。

最终,选型会议应带走三份材料:一份可验收的需求清单、一份同口径的成本与性能对照、一份包含容量保障和退出条件的交付约定。 让硬件选择服务于这些材料,预算与技术方案才有共同的判断依据。

最后更新于

这篇文档对你有帮助吗?

目录