RT Core 与 Tensor Core:光追计算和 AI 矩阵计算的硬件分化
RT Core 与 Tensor Core:光追计算和 AI 矩阵计算的硬件分化
1. 核心观点
GPU 并不是只有一种计算模式。NVIDIA 的不同 GPU 产品线会按目标工作负载配置不同类型的计算资源,例如:
- Tensor Core:面向矩阵乘累加与 AI/HPC 低精度计算
- RT Core:在 RTX 图形产品中面向光线追踪中的 BVH 遍历与求交加速
- CUDA Core:执行更通用的标量/向量算术与并行程序
这些单元不是每款 NVIDIA GPU 都以相同形式、相同数量存在。AI 与光追的主要计算瓶颈不同,因此硬件优化路径也不同。
2. 为什么 AI 需要 Tensor Core?
大语言模型(LLM)的核心计算高度集中在线性代数操作:
也就是大规模矩阵乘法(GEMM)。
Transformer 中主要计算包括:
- Attention
- Linear Projection
- MLP
这些计算具有特点:
- 数据结构规则
- 大量重复计算
- 高度并行
因此适合 Tensor Core 加速。
Tensor Core 擅长:
矩阵 × 矩阵
A × B
例如:
- FP16
- BF16
- FP8
- FP4
等低精度矩阵运算。
3. 光追(Ray Tracing)计算是什么?
光追目标是模拟现实世界中光传播过程:
光源
↓
物体表面
↓
反射/折射
↓
摄像机
↓
最终像素
核心问题不是矩阵乘,而是几何计算。
主要包括:
3.1 光线与三角形求交
游戏世界通常由大量三角形组成。
光追需要判断:
一条光线是否碰到了某个三角形?碰撞点在哪里?
数学上属于 Ray-Triangle Intersection。
3.2 BVH 空间搜索
现代游戏场景可能包含百万级三角形。
如果逐个检测:
光线
↓
三角形1
↓
三角形2
↓
...
↓
三角形1000000
计算量巨大。
因此使用 BVH(Bounding Volume Hierarchy):
整个场景
|
+--区域A
| |
| +--物体
|
+--区域B
类似数据库索引,通过空间层级快速排除无关区域。
4. 为什么光追的核心求交阶段不适合 Tensor Core?
Tensor Core 的强项是规则、批量的矩阵乘累加;而传统 ray tracing 的 BVH 遍历与几何求交包含大量树遍历、不规则访存、分支判断和几何测试。
if ray intersects bounding_box:
traverse child nodes
else:
skip subtree
因此 BVH traversal / ray intersection 不是 Tensor Core 的典型工作负载,这也是 RT Core 专门加速这些操作的原因。
但不能扩展成“整个实时光追流水线都不用 Tensor Core”。现代图形渲染还可能结合 AI 去噪、超分辨率、神经渲染等矩阵计算,这些阶段可以使用 Tensor Core。
5. RT Core 的作用
RT Core 是 NVIDIA 为光线追踪设计的专用硬件。
主要加速:
- BVH Traversal(包围盒层级遍历)
- Ray-Triangle Intersection(光线三角形求交)
- Ray-Box Intersection(光线包围盒求交)
它类似于:
- CPU 的 AES 加密指令
- CPU 的 AVX 向量指令
通过专用硬件提高特定任务效率。
6. H100 / B200 与 RT Core:不要用游戏 GPU 的结构去套数据中心 GPU
H100、B200 面向 AI、HPC 和数据中心加速。NVIDIA 的 H100 与 Blackwell 数据中心官方规格重点公开 Tensor Core、HBM、NVLink、Transformer Engine 等能力,并未像 GeForce RTX 产品那样列出面向图形光追的独立 RT Core 配置或 RT Core 性能指标。
因此,在工程笔记里最稳妥的表述不是“所有 H100/B200 一定物理上不存在任何光追相关逻辑”,而是:
H100/B200 并不是以 RTX 式 RT Core 光追能力为产品接口和性能卖点的数据中心 GPU,不能按 RTX 显卡的光追能力使用或比较。
GeForce RTX 的图形产品栈则明确包含 RT Core,用来硬件加速 BVH 遍历和光线求交等工作。
7. B200 能不能做“光线追踪计算”?
需要区分两件事。
第一,自己用 CUDA 编写 ray tracing / ray-triangle intersection 算法:可以。 光追归根结底也是可编程计算,通用 GPU 计算单元可以实现 BVH、求交、路径追踪等算法,只是未必具有 RTX RT Core 那样的专用硬件加速效率。
第二,把 B200 当作 RTX 游戏显卡运行依赖 DirectX/DXR 的游戏光追:不能据此推导可行。 这还取决于驱动、图形 API、显示/虚拟化配置与应用支持;B200 的产品和软件生态首先面向数据中心计算,而不是桌面游戏。
所以“B200 能计算光追算法”与“B200 适合玩带 RTX 光追的游戏”是两个完全不同的问题。
8. AI 和光追的本质区别
| AI大模型 | 光追 | |
|---|---|---|
| 核心数学 | 矩阵运算 | 几何计算 |
| 主要问题 | 线性变换 | 光传播模拟 |
| 计算结构 | 规则密集 | 不规则搜索 |
| 主要专用加速 | Tensor Core(矩阵计算) | RT Core(BVH / 求交);AI 去噪等阶段还可使用 Tensor Core |
| 典型场景 | LLM训练推理 | 游戏渲染 |
9. 对 LLM Infra 学习的启发
理解 GPU 架构不能只看 FLOPS。
不同工作负载需要不同硬件:
- LLM → Tensor Core + HBM + NVLink
- 图形 → RT Core + CUDA + 显存
- 通用计算 → CUDA Core
未来 AI 与图形可能融合:
- 神经渲染
- AI生成3D世界
- NeRF
- 游戏中的 AI 光照
GPU 架构正在从单一计算设备发展为多种专用计算单元组合的平台。