厘清Namespace、MIG、Confidential VM与加速卡机密计算的保护范围,串起远程证明、RDMA网络隔离和NVMe回收流程,建立可验证的安全与审计证据。
把不同客户的训练任务放进不同Namespace,只完成了多租户设计的一部分。对于敏感数据处理,还需要回答三个更具体的问题:其他租户能否越权访问资源?基础设施管理员是否仍能接触运行中的明文?设备交给下一位租户之前,数据如何被可靠清除?
这三个问题分别涉及租户隔离、运行时数据保护和资源回收。MIG、机密虚拟机、网络分区与密码擦除各自解决其中的一部分,不能相互替代。
本文给出一套面向加速卡云平台的设计与验收方法。所有能力都应绑定具体硬件、固件、驱动、运行模式和部署版本,不将参考架构视为某个平台已经交付的功能,也不以单项技术承诺审计结论。
先定义信任边界,再选择隔离技术
机密计算(Confidential Computing)通常通过硬件支持的可信执行环境(TEE),保护正在使用的数据。它是一类技术能力,“Confidential Compute等级”不是可以替代系统安全测评的统一认证等级。
设计前,建议先把需要防范的对象列出来:
| 风险对象 | 主要保护目标 | 需要落实的控制 |
|---|---|---|
| 同集群的其他租户 | 阻止API、设备、网络和存储越权访问 | 身份权限、工作负载隔离、设备分配、网络策略与存储授权 |
| 宿主机或虚拟化层中的高权限主体 | 限制其访问受保护工作负载的代码和数据 | 受支持的CPU / 加速卡TEE、远程证明、可信密钥释放 |
| 能接触共享网络的主体 | 阻止跨租户连接、非法内存访问和明文泄露 | 网络分区、设备权限、端点认证及经过验证的传输保护 |
| 后续使用同一设备的租户 | 防止读取上一租户的数据或继续使用旧凭据 | 生命周期隔离、密钥与连接撤销、介质清理和回收验证 |
拒绝服务、应用自身漏洞、错误授权,以及应用主动输出的明文,需要另外治理。即使运行在TEE中,应用把提示词写入宿主机可读的日志,仍然会形成泄露路径。
Namespace是管理边界,需要其他控制配合
Namespace可以划分API资源范围,但实际隔离还依赖RBAC、准入策略、网络插件和节点运行时。对于互不信任的租户,还要限制特权容器、宿主机目录挂载和设备访问,必要时采用虚拟机或专属节点。Kubernetes官方也明确说明,命名空间模式需要配合其他资源和安全配置。Kubernetes多租户文档
同样,不能仅凭“共享加速卡驱动”,就断言另一个租户必然能读取显存。实际风险取决于权限、驱动漏洞、设备映射与回收机制,应通过威胁建模和受控测试验证。
MIG与机密计算:先查支持矩阵,再谈组合
MIG提供资源分区,不等于防范宿主机管理员
MIG可以为GPU Instance分配独立的计算和显存资源,并隔离部分内存访问路径。它适合提高资源利用率、减少租户间的资源争用,但单独启用MIG,不会自动建立CPU TEE、远程证明或密钥释放机制。具体分区能力见 NVIDIA MIG简介。
| 方案 | 可以解决的部分问题 | 不能据此直接推导的能力 |
|---|---|---|
| MIG实例 | 在受支持的配置中划分加速卡计算、显存等资源 | 不自动具备防宿主机访问的完整TEE保护 |
| 普通VM加加速卡直通 | 分离客户机内核,配合IOMMU管理设备访问 | 不自动对虚拟化层隐藏客户机明文 |
| CPU机密VM加受支持的加速卡机密模式 | 在规定威胁模型内扩展受保护执行边界 | 不自动保护所有I/O、日志和应用输出 |
| 远程证明加密钥服务 | 按证据和策略决定是否向工作负载释放密钥 | 不证明应用没有漏洞,也不替代业务授权 |
不把H100的支持范围直接套到H800A
“Confidential VM”一般建立在AMD SEV-SNP、Intel TDX等CPU平台能力之上,加速卡还要具备与其配套的机密计算支持。不能将它描述成任意MIG切片都能装进去的“NVIDIA Confidential VM”。
截至本文更新时,所引用的NVIDIA Confidential Containers参考架构列出了H100、H200等加速卡的特定直通模式,并对多加速卡模式和分配范围作出限制。例如,该参考架构要求主机加速卡按其规则配置,并分配给同一个机密容器虚拟机。这份支持说明不能证明“H800A MIG切片 + 多租户机密VM”的组合可用。NVIDIA支持平台与组件
平台选型应按完整组合核对:加速卡的准确SKU、CPU TEE、服务器拓扑、VBIOS、驱动、客户机与宿主机软件,以及加速卡机密模式。机型近似、架构相同或支持MIG,都不足以代替验证。版本组合以 NVIDIA Secure AI兼容矩阵 和对应部署指南为准。
在没有得到组合支持与验证结果之前,建议将MIG共享资源池和机密计算资源池分别规划,明确各自的分配粒度与保护范围。
“显存出芯片就加密”不是准确的边界描述
应分别说明CPU私有内存、加速卡受保护显存、CPU–加速卡传输,以及多加速卡互联采用什么保护机制。以H100的机密计算设计为例,受保护显存的访问控制与CPU–加速卡安全传输属于不同机制,不能概括成所有显存与链路始终使用同一种加密方式。NVIDIA H100机密计算说明
跨节点训练还应单独验证NIC、DMA、GPUDirect RDMA和网络数据路径。能够运行NCCL,并不等于通信路径已经满足机密计算的威胁模型。
常规API或bootstrap通道可以使用经过身份认证的TLS,但这不能证明另一条RDMA数据路径也被加密。跨节点机密训练应按经过验证的平台方案交付;能力不匹配时拒绝该规格的部署,不能静默回退到保护范围更小的路径。
远程证明之后,才向工作负载释放密钥
配置页面显示“CC已开启”,只是状态信息。数据所有者还需要验证:运行环境是否可信、加载的是不是允许的工作负载,以及密钥最终交给了谁。
先证明环境,再向正确的工作负载释放密钥:配置状态、硬件证明、工作负载身份与密钥授权,需要逐项关联。
一条完整的流程应包括:
- 准备可信基线。 维护允许的软硬件版本、固件参考值、镜像摘要和工作负载策略;明确哪些主体可以更新它们。
- 提交新鲜证据。 将CPU与加速卡证明关联到当前请求、受保护会话及实际使用的设备,防止用过期证据或另一台设备的证明冒充。
- 验证并授权。 校验证书与证据状态、TCB版本、运行模式、工作负载身份及租户权限。硬件证明通过,不代表所有租户都能获取同一份密钥。
- 向正确端点释放密钥。 密钥只经绑定到受证明工作负载的安全通道交付,并受用途、时效和资源范围限制。
- 持续管理变化。 升级、撤销、设备更换或策略变更后重新评估;验证服务不可用或证据不满足要求时,停止新的密钥释放。
Confidential Containers的Trustee将证明验证、参考值和密钥释放策略分开管理,可作为实现参考。NVIDIA证明架构说明
还要约束客户机代理的管理接口,例如容器创建、exec、挂载与调试操作,并将预期工作负载策略纳入验证。仅设置一个机密运行时的 RuntimeClass,不足以完成保护链。Confidential Containers工作负载保护指南
如果威胁模型包含云平台管理员,证明服务、参考值更新权限和密钥服务也不能全部由同一管理员不受约束地控制。可以由客户管理密钥,或建立独立的管理与审批边界。
需要注意:停止后续密钥释放,并不会自动收回已进入运行中应用内存的密钥。应配合短期凭据、会话终止和资源清理定义撤销语义。
RDMA隔离:GID是地址,访问控制要落在执行层
PD、QP、MR和rkey各自是什么?
RDMA本身具有资源和访问权限机制。PD(Protection Domain)组织本地保护域,QP(Queue Pair)承载通信队列,MR(Memory Region)表示注册内存区域,lkey / rkey用于相应的内存访问检查。因此,“NCCL没有GID校验,所以可以伪造PD/QP直接读取其他租户内存”不是充分的技术结论。NVIDIA RDMA编程手册
另一方面,GID也不是租户身份证书,rkey更不是传输加密密钥。平台仍需限制端点、设备和网络权限,并保护建立通信时交换的连接信息。
分开处理InfiniBand与RoCE
| 层次 | InfiniBand | RoCE / 以太网 |
|---|---|---|
| 网络分区 | 由管理平面分配P_Key,核对成员关系及HCA / 交换机的执行配置 | 按设计使用VLAN / VRF、ACL或其他租户网络隔离机制,并核实实际RDMA路径 |
| 设备访问 | 控制物理端口、VF、设备节点和管理权限 | 控制PF / VF、IOMMU映射、MAC / VLAN与相关防伪能力 |
| 通信建立 | 限制租户可访问的服务与bootstrap通道 | 限制租户可访问的服务与bootstrap通道 |
| 数据保密 | 另外验证网络与端点的传输保护 | 另外验证网络与端点的传输保护 |
InfiniBand的P_Key分区有full / limited成员语义,默认分区和管理平面也要一起检查;P_Key不是加密机制。NVIDIA InfiniBand安全指南
SR-IOV通常由平台控制PF,将受约束的VF分配给租户。MAC spoof check可以限制特定类型的源地址伪造,但不能将这个开关扩大解释为所有GID、IP和RDMA流量都已获得认证。实际支持和配置持久性需按网卡、固件与驱动验证。NVIDIA SR-IOV文档
设备直通、SR-IOV或辅助网络可能绕过普通Pod网络的数据路径。因此,不能只看到Kubernetes NetworkPolicy 已创建,就认定RDMA也被隔离;必须验证相应路径上的执行点。
NCCL参数选择网络,不负责授权网络
例如,以下参数只能从应用侧选择可见HCA及端口:
# 示例:精确匹配两个 HCA 的端口;名称应替换为本环境实际值。
export NCCL_IB_HCA='=mlx5_2:1,mlx5_3:1'其中 = 表示精确匹配名称,参数语义见 NCCL环境变量文档。它不会撤销租户对其他设备的访问权限。租户能修改自己的环境变量,因此控制面必须在应用参数之外落实权限。
NCCL_IB_GID_INDEX 用于选择RoCE GID表项。NCCL 2.21及之后的版本具备动态选择能力,官方排障文档建议不再固定设置该变量。不要把 GID_INDEX=3 当作通用安全配置。NCCL网络排障文档
同理,NCCL拓扑文件服务于设备拓扑描述和路径选择,不能代替交换机、网卡和操作系统的访问控制。验收时应假设租户已经知道其他租户的地址,并验证其仍无法越权访问。
安全隔离与性能隔离分别验收
两个租户无法互访,仍可能争用物理端口、交换机缓存和PCIe带宽。性能隔离需要另做配额、限速、拥塞控制或物理资源规划,并记录消息大小、并发量、背景流量及P95/P99延迟。
“尾延迟波动从 ±18% 降至 ±3%”只有在统计定义、样本和环境完整时才可作为实测结论;不能作为启用SR-IOV或网络分区后的通用收益。
NVMe回收:从“执行命令”变成“完成清理并验证”
删除文件、删除PVC、TRIM和普通格式化,不等于已完成满足目标要求的介质清理。SSD的磨损均衡、预留空间和重映射,也使主机侧覆盖写不能简单等同于清除全部历史数据。
Format --ses=2 与Sanitize不要混用
| 操作 | 语义 | 需要核对的条件 |
|---|---|---|
Format NVM,--ses=0 | 不请求安全擦除 | 不能作为密码擦除的证据 |
Format NVM,--ses=1 | User Data Erase | 具体实现与作用范围由设备能力决定 |
Format NVM,--ses=2 | Cryptographic Erase,通过清理相关加密密钥使数据不可解密 | 加密覆盖、密钥生命周期、功能支持与影响范围 |
| Sanitize,Crypto Erase动作 | 启动Sanitize密码擦除流程 | Sanitize能力、作用范围、进度及最终完成状态 |
--ses=2 是Format的选项;Sanitize的Crypto Erase动作值为 0x04,不能把两个命令的数字选项互相替换。参数语义见 nvme-format文档 与 nvme-sanitize文档。
作用范围尤其重要:Format的namespace选择与安全擦除范围受控制器FNA等能力字段影响;Sanitize通常面向NVM子系统的用户数据范围,不能理解成只清理某个租户目录。不同租户共享同一控制器或介质时,不能未经范围核实就执行整设备清理。
以下仅展示Linux上的只读检查模板,/dev/nvmeX 必须替换为根据序列号和资产记录确认的控制器:
# 查看设备、namespace 与拓扑信息
nvme list -v
# 查看控制器能力,重点结合文档核对 OACS、FNA、SANICAP
nvme id-ctrl /dev/nvmeX -H
# 读取 Sanitize 状态;仅适用于相应设备与清理流程
nvme sanitize-log /dev/nvmeX -H设备支持、清理算法和固件行为应按厂商说明验证。Sanitize命令提交成功,也不一定意味着后台清理已经完成,需要读取完成状态并处理失败或中断情形。NVM Express Base Specification 2.0e,Sanitize Operations
密码擦除成立,前提是密钥覆盖完整
密码擦除的速度来自使相关密钥不可恢复,而不是逐字节重写介质。它要求敏感数据在相应生命周期内已经被有效加密,并且用于恢复明文的密钥及相关副本都得到妥善处理。应用层的数据密钥、SSD内部介质密钥和KMS中的包裹密钥,是不同层次的对象。
共享存储可考虑租户或卷级独立密钥,但“禁止访问密钥”与“密钥已不可恢复”仍需区分;快照、备份、日志及其他明文副本也必须纳入清理边界。方法选择、验证和记录可参考 NIST SP 800-88 Rev. 2,它是介质清理参考,不是国内合规认证的替代物。
因此,“7.68 TB盘平均11秒完成”只能是特定型号、固件和样本下的结果。容量相同并不意味着耗时相同,更不能据此跳过完成状态检查。
用回收状态机阻止资源提前复用
资源回收的完成条件:清理完成,并且验证通过。实例释放后先阻止再次分配;不能把命令提交成功当作清理已经完成。
控制面应先将资源移出可分配池,终止旧任务,撤销访问凭据及设备/网络映射,再依照既定方案清理存储和设备状态。只有清理结果与设备健康验证通过,才能重新入池。
加速卡与NIC的旧上下文、注册内存和连接也应按平台支持的流程回收;重启、复位或解绑是否满足清理目标,需要验证,不能直接当作证明。
回收记录至少包含租户与任务标识、设备序列号、namespace/卷范围、方法与工具版本、开始和结束时间、最终状态、验证结论及证据位置。失败、超时或状态未知时,资源保持隔离;控制器重启后也应能恢复任务状态,避免遗漏或重复执行。
附件提供 空白回收记录模板,用于整理证据字段,不是可以直接部署的控制器配置。
对外承诺要落到可验证的证据
上线前做哪些验收?
以下测试应在授权测试租户和专用环境中进行,并同时验证“应该拒绝的访问被拒绝”与“合法业务仍然可用”。
| 验收项 | 测试重点 | 应保留的证据 |
|---|---|---|
| 租户权限 | 越权API、设备和卷访问被拒绝 | 权限配置、准入结果与审计日志 |
| 证明与密钥 | 错误参考值、过期证据、错误租户和不允许的模式无法获得密钥 | 证明摘要、策略版本、拒绝原因与授权记录 |
| 工作负载管理 | 未授权的调试、挂载和执行操作被阻止 | 客户机代理策略与测试记录 |
| RDMA隔离 | 在已知目标地址、修改应用参数的条件下仍不能跨租户访问 | NIC / fabric配置、正反向连通测试和错误记录 |
| 资源回收 | 清理中、失败或状态未知的资源不能重新分配 | 状态迁移、设备状态与隔离记录 |
| 性能与容量 | 机密模式及多租户并发下仍满足约定SLO | 吞吐、尾延迟、失败率、启动与证明耗时 |
等保、渗透测试与客户审计分别说明
GB/T 22239—2019是《信息安全技术 网络安全等级保护基本要求》。系统的技术与管理要求需要整体评估,不能由“MIG + 机密计算 + 擦盘”三项能力推出三级测评结论。国家标准公开信息
对外披露已有测评或测试结果时,应说明系统名称、范围、版本、报告日期和结论适用条件。渗透测试反映特定范围、时间和方法下的检查结果;客户审计还会涉及数据、流程、组织管理和合同要求,不能表述成“打开开关即可直接过关”。
产品页面可以将多个控制做成统一入口,但用户仍需要看到实际生效的资源模式、证明结果、密钥管理方式、网络保护范围和回收记录。定价与性能影响应依据正式产品说明及对应负载测试披露。
多租户安全最终要形成一条可追溯的证据链:分配时核对归属,运行前验证环境,运行中限制访问,释放后确认清理。 每一项承诺都对应明确边界、实际控制和可复核记录,才具备对外解释与接受审计的基础。
最后更新于
