ccAI 精读（三）：0.05% 的开销是怎么来的？——实验与总结

Posted on 2026-09-08 Edited on 2026-09-10 Views: Word count in article: 3.7k Reading time ≈ 7 mins.

接前两篇：动机与背景 → 设计与实现。机制讲完了，本篇看作者怎么证明它真的 work——§8 Evaluation 用 6 个 Research Questions（RQ） 逐个验证兼容性、安全性、性能和极端场景。

📋 RQ 总览

RQ	问题	答案
RQ1	与现有方案比，兼容性如何？	不改 App / 驱动 / 硬件，通用 TVM 即可
RQ2	能不能防住攻击者？	链路完整：可信 + 保密 + 防篡改
RQ3	LLM 上性能损失多少？	overhead 只有 0.05%～5.67%
RQ4	换不同 LLM / xPU 呢？	依然稳定，且不随模型大小线性变差
RQ5	优化有没有用？	E2E overhead 直接降约 89%
RQ6	极端情况呢？	带宽砍半、显存不够也不崩

实验平台是 Intel 服务器 + Intel Agilex 7 SoC FPGA 搭的 PCIe-SC 原型。

✅ RQ1：与现有方案比兼容性

论文的 RQ1 不是跑分，而是和现有方案做定性对比（Table 2：按用户透明性、是否改 xPU 软件/硬件、支持哪些 xPU 与 TVM、是否改主机特权软件等维度）。结论是 ccAI 一样都不用改、用通用 TVM 即可：相比之下，CPU-TEE 类方案（SGX / SEV / CCA 等）大多要改 xPU 软件栈，硬件类方案要改 GPU 硬件或定制 API，HETEE 要定制 API 加专用硬件，TDISP 方案则要求 TDISP 兼容的 xPU。

1
2
3

NVIDIA A100 / RTX 4090 Ti / T4     （GPU）
Tenstorrent N150d                  （NPU）
Enflame S60                        （国产 GPU）

兼容性也不只是纸面结论——论文原型确实跑通了 5 种不同架构的 xPU（A100 / RTX 4090 Ti / T4 / Tenstorrent N150d / Enflame S60），用真实软件栈：CUDA 12.1、NVIDIA Driver 550.90.07、Tenstorrent 的 tt-buda 等。全程没改 GPU 硬件、NVIDIA driver、CUDA 或 AI application，只是在原生软件栈下面垫了一层 Adaptor + PCIe-SC：

 AI App
    ↓
原生软件栈     ← 一行不改
    ↓
Adaptor
    ↓
PCIe-SC
    ↓
  xPU

对原有应用的透明性，正是 ccAI 兼容性设计的核心；至于在不同 xPU 上实际跑起来慢多少，是后面 RQ4 的事。

🛡️ RQ2：安全性——假设攻击者控制特权软件

RQ2 假设的攻击者权限相当高：能控制云服务器上的特权软件（privileged software）。ccAI 靠的不是单一加密，而是一整条链：

Secure Boot        → 平台没被换
Remote Attestation → 用户远程确认可信
Key Exchange       → 密钥安全送达
PCIe packet 保护   → 数据保密 + 防篡改

攻击者想偷看 PCIe 上的数据 → 看到的是密文；想篡改 packet → 完整性检查发现异常。结论是：身份可信 + 环境可信 + 通信保密 + 通信完整，缺一不可。

🔥 RQ3：性能——0.05%～5.67% 怎么来的？

最受关注的问题：加了这么多安全操作，慢多少？作者用 Llama-2-7B-Chat 在 A100 上测了三个指标：

指标	含义
E2E Latency	从输入问题到完整回答生成的总时长
TPS	Tokens Per Second，每秒生成的 token 数，越高越好
TTFT	Time To First Token，发出问题后第一个 token 出现的延迟

结果：overhead 0.05%～5.67%（相对原系统的性能下降比例，不是绝对秒数）。比如原本 100ms，5% overhead 就是约 105ms。

为什么没慢很多？ 因为前面讲过的细粒度策略：只有真正敏感、需要保护的包才走昂贵的 A2 加密；大量普通包走 A4 免检直接通过。只对值得加密的东西加密，是开销低的核心原因。

🔁 RQ4：换模型、换 xPU——稳定性验证

不同 LLM

从小到大多种模型都测了，整体 overhead 0.72%～4.76%：

1
2
3

小模型   OPT-1.3B / BLOOM-3B
中模型   Deepseek-7B / Llama-2-7B / Llama-3-8B
大模型   Deepseek-R1-32B / Deepseek-R1-70B / Llama-3-70B / Babel-83B

有意思的是 overhead 并不随模型大小线性增长：BLOOM-3B 是 1.61%，Deepseek-R1-32B 冲到 4.76%，但更大的 Deepseek-R1-70B 反而只有 2.14%、Babel-83B 是 2.84%。作者的解释是：prototype 的 PCIe 带宽是一个限制因素，但传输量增大并不会让 overhead 成比例恶化。

不同 xPU

RQ1 的五种 xPU 再次登场：A100 / RTX 4090 Ti / Enflame S60 跑 Llama-2-7B；显存小的 T4 / N150d 跑 OPT-1.3B。最终 overhead 0.58%～2.40%。

这个实验支撑了论文的核心 claim：NVIDIA、Enflame、Tenstorrent 的设备共用 PCIe 这一层，所以不需要为每种 xPU 重新设计安全机制。

⚡ RQ5：优化——overhead 降了约 89%

作者把未优化的 ccAI 和优化后的 ccAI 对比，效果显著：E2E latency overhead 降低了 88.7%～89.8%。

慢的根源是 Adaptor 和 PCIe-SC 之间来回的小 I/O（读一点 → 问一次 → 再读一点 → 再问一次）。三个优化对症下药：

1
2
3

① 批量读取   read A+B+C+D   代替  read A; read B; read C; read D
② 批量写入   write A+B+C+D  代替  write A; write B; ...
③ AES 并行   AES-NI + 额外 CPU threads/cores 并行做安全操作

加密一块就通知一次 → 变成批量处理完一次性通知 PCIe-SC，I/O 次数大幅减少。

🌪️ RQ6：极端情况——故意把环境搞差

最后作者主动加难度：

情况 1：PCIe 带宽降低。 从 16GT/s × 16 lanes 一路降到 8GT/s × 8 lanes。ccAI 的 overhead 没有突然恶化，最差测试之一约 4.45%。

情况 2：xPU 显存不够。 显存被 KV Cache 占满后，发生 KV-cache swapping（KV Cache 在 CPU RAM 和 GPU VRAM 间频繁搬运），此时性能本来就会掉：普通系统和 ccAI 系统都下降到原来的约 83%。但 ccAI 在本来就慢的基础上，额外增加的 overhead 小于 2%。

结论：即使在带宽减半、显存溢出这种恶劣场景，ccAI 的额外代价依然可控。

🧾 总结：这篇论文到底证明了什么

维度	结果	说明
兼容性	✅	5 种不同 xPU，不改硬件/驱动/应用
安全性	✅	加密 + 完整性 + 可信建立全链路
LLM 性能	✅	overhead 0.05%～5.67%
多模型	✅	0.72%～4.76%，不随模型大小线性恶化
多 xPU	✅	0.58%～2.40%
优化效果	✅	E2E overhead 降低约 89%
极端场景	✅	带宽减半 / 显存溢出仍可控

整套系统概括起来：

不要求改 GPU/NPU 的硬件和软件，而是在所有 xPU 都必须经过的 PCIe 通道上加一个安全检查站（PCIe-SC），旁边配一个软件翻译员（Adaptor）。

这也是全系列反复强调的那句话：PCIe = common abstraction layer（共同抽象层）。

怎么读才有收获

论文机制部分读懂后，要把核心图串起来，能讲清下面这条链的每一步发生了什么：

1
2
3

一个真实的 AI inference 请求：
User → TVM → Adaptor（识别+加密数据）→ PCIe-SC（Filter 决策 + Handler 执行）
     → xPU 计算 → 结果加密返回 → TVM

对应论文的 Figure 3（系统架构）/ 4（Handler 数据流）/ 5（Filter 规则）/ 6（Attestation 协议）/ 7-8（实验），串起来就是全篇。

一些值得带着走的观察

性能数字的边界：0.05%～5.67% 是在 FPGA 原型 + 特定 LLM 上测的，作者也承认 prototype 的 PCIe 带宽是限制因素；真实量产 ASIC 的表现需要另外验证。
细粒度是性能钥匙：A2/A3/A4 分级不是论文的锦上添花，而是安全性和性能可兼得的命门——只保护值得保护的数据。
信任边界与不防的攻击：整套安全建立在 TVM 可信、xPU 固件无恶意代码（信任硬件厂商）的前提上；攻击者可尝试篡改 PCIe-SC / xPU / 两者的内部连接——固件层篡改由 Secure Boot + 远程证明防护，物理篡改由机箱 sealing 机制检测；论文明确不防 side-channel 与 DoS 攻击。

📚 系列回顾

ccAI 精读（一）：为什么 GPU 跑 AI 需要保密？ —— 动机、威胁模型、PCIe 背景
ccAI 精读（二）：不换 GPU 也能机密计算——Adaptor 与 PCIe-SC —— Filter / Handler / Adaptor / 信任建立 / 实现
ccAI 精读（三）：实验与总结 —— 本篇

如果对背景概念想补课，可以看站内的 GPU 工作原理和 CUDA 入门。

（本系列为 MICRO 2025 论文 ccAI: A Compatible and Confidential System for AI Computing 的入门精读笔记，全部实验数据来自论文原文。）