AI Confidential Computing：火山引擎 AICC、大模型推理安全与 GPU/NPU 机密计算原理

背景：为什么大模型时代需要机密计算？

随着企业开始将核心业务接入大模型，新的矛盾出现：

企业希望使用云端大模型能力
但是不希望云厂商、运维人员、其他租户看到自己的数据和模型

传统安全只能保护：

静态数据（磁盘加密）
传输数据（TLS）

但是 AI 推理过程中存在大量「使用中的数据」（Data in Use）：

用户 Prompt
企业知识库
RAG 数据
模型权重
KV Cache
中间激活值

这些数据必须进入 CPU/GPU/NPU 执行，因此成为新的安全边界。

什么是 AICC？

AICC（AI Confidential Computing）即 AI 机密计算。

它的目标不是让 AI 在密文状态下完成计算，而是：

将 AI 推理过程放入一个硬件可信执行环境（TEE）中，让不可信的云基础设施无法读取计算过程中的敏感数据。

核心思想：

普通云计算：
用户数据 → 云服务器 → GPU推理
          ↑
       云管理员可能访问

机密计算：
用户数据 → 可信执行环境 → GPU/NPU推理
          ↑
       外部只能看到加密数据

AICC 的技术组成

1. Trusted Execution Environment（TEE）

可信执行环境是基础。

传统云环境中，需要信任：

操作系统
Hypervisor
云管理员

TEE 将信任范围缩小到：

CPU/GPU/NPU 硬件
安全固件
经过验证的运行环境

代表技术：

Intel TDX
AMD SEV-SNP
NVIDIA Confidential Computing

2. Remote Attestation（远程证明）

机密计算的重要能力：不是相信云厂商口头承诺，而是让用户验证运行环境。

例如：

硬件型号
Firmware hash
Runtime hash
模型 hash
安全状态

通过密码学证明确认：

「当前运行的确实是可信环境」。

3. 加密模型和密钥管理

模型权重可以加密存储：

model.bin
    ↓
AES加密
    ↓
密文模型

只有经过 TEE 验证后，才能获得密钥并加载模型。

火山引擎 AICC 与大模型推理

火山引擎将机密计算能力结合火山方舟大模型平台，面向企业提供安全的大模型推理能力。

典型场景：

金融分析
医疗数据处理
政企知识库
企业 Agent

核心价值：

企业可以使用云端大模型能力，同时降低数据泄露风险。

最大技术难点：GPU/NPU 如何做到机密？

LLM 推理主要运行在 GPU/NPU，而不是 CPU。

因此，仅保护 CPU TEE 不够。

大模型真正敏感的数据包括：

GPU HBM 中的模型权重
KV Cache
Attention 中间状态
激活值

因此需要 Confidential GPU / Confidential NPU。

GPU 机密计算原理

重点：不是密文计算。

很多人误解为：

密文 Prompt
 ↓
密文矩阵乘
 ↓
密文输出

这属于 Fully Homomorphic Encryption（FHE），目前无法满足大模型实时推理需求。

当前方案：

数据加密传输
        ↓
可信 GPU 环境
        ↓
GPU 内部短暂解密
        ↓
Tensor Core 明文计算
        ↓
结果加密返回

也就是说：

Confidential Computing 是「保护计算环境」，不是「让机器永远不接触明文」。

Prompt 是否会暴露？

这是理解 Confidential AI 的关键。

完整 LLM pipeline：

Prompt
 ↓
Tokenizer
 ↓
Embedding
 ↓
Transformer
 ↓
Attention
 ↓
Logits
 ↓
Output

如果只有 GPU Confidential：

可以保护 GPU 显存
可以保护模型权重
但是 Prompt 在 API 服务、Tokenizer 阶段仍可能暴露

更完整方案需要：

Confidential VM
        +
Confidential GPU/NPU
        +
Attested AI Runtime

让 tokenizer、embedding、推理 runtime 都运行在可信边界内。

运维人员植入病毒还能攻击吗？

需要区分攻击位置。

宿主机攻击

例如：

dump GPU memory
读取显存

由于 GPU memory encryption，通常无法获得明文模型。

API 服务攻击

如果 Prompt 在 TEE 外部处理：

例如：

API Server
 ↓
Tokenizer
 ↓
GPU

攻击 API Server 仍可能获取 Prompt。

因此 Confidential AI 的边界设计非常重要。

TEE 内部漏洞

如果：

runtime 有漏洞
driver 有漏洞
TEE 被突破

仍可能泄露。

机密计算不是绝对安全，而是改变信任模型。

FHE 为什么不是主流方案？

完全同态加密理论上可以：

密文输入
 ↓
密文 Transformer
 ↓
密文输出

但是 Transformer 包含：

GEMM
Attention
Softmax
LayerNorm

目前计算成本过高。

因此工业界选择：

硬件可信执行环境，而不是全程密文计算。

竞争格局

主要玩家：

NVIDIA Confidential AI

优势：

GPU 生态最强
H100/Blackwell 支持 Confidential Computing
掌握 AI 硬件底座

AWS Nitro Enclaves

优势：

云基础设施成熟
企业客户多

Azure Confidential AI

优势：

OpenAI 生态
企业市场强

Google Confidential Computing

优势：

AI 研究能力
TPU/Gemini 生态

火山引擎 AICC

优势：

国内企业合规
豆包模型生态
中国市场场景

对 AI Infra 的启示

Confidential AI 是 LLM Infra 的一个重要交叉方向：

LLM Inference
      |
GPU Architecture
      |
CUDA / NPU
      |
Distributed Serving
      |
Confidential Computing
      |
Security

未来高级 AI Infra 工程师需要同时理解：

GPU 架构
推理优化
vLLM/TensorRT-LLM
CUDA Kernel
TEE
密钥管理
可信执行环境

核心结论

AI Confidential Computing 的本质：

不是让大模型永远在密文中运行，而是把必须处理明文的数据和计算放入一个硬件保护、可验证的可信环境中。

未来企业级 AI 的趋势可能是：

普通应用：普通推理

高价值企业 AI：Confidential AI

极高安全场景：私有化部署 + TEE + 密码学验证

GPU/NPU 可信执行环境，将成为未来 AI Infra 的重要方向。

AI Confidential Computing：火山引擎 AICC、大模型推理安全与 GPU N