0
0

RT Core 与 Tensor Core:光追计算和 AI 矩阵计算的硬件分化

RT Core 与 Tensor Core:光追计算和 AI 矩阵计算的硬件分化

1. 核心观点

GPU 并不是只有一种计算模式。NVIDIA 的不同 GPU 产品线会按目标工作负载配置不同类型的计算资源,例如:

  • Tensor Core:面向矩阵乘累加与 AI/HPC 低精度计算
  • RT Core:在 RTX 图形产品中面向光线追踪中的 BVH 遍历与求交加速
  • CUDA Core:执行更通用的标量/向量算术与并行程序

这些单元不是每款 NVIDIA GPU 都以相同形式、相同数量存在。AI 与光追的主要计算瓶颈不同,因此硬件优化路径也不同。


2. 为什么 AI 需要 Tensor Core?

大语言模型(LLM)的核心计算高度集中在线性代数操作:

Y=XWY=XW

也就是大规模矩阵乘法(GEMM)。

Transformer 中主要计算包括:

  • Attention
  • Linear Projection
  • MLP

这些计算具有特点:

  • 数据结构规则
  • 大量重复计算
  • 高度并行

因此适合 Tensor Core 加速。

Tensor Core 擅长:

矩阵 × 矩阵

A × B

例如:

  • FP16
  • BF16
  • FP8
  • FP4

等低精度矩阵运算。


3. 光追(Ray Tracing)计算是什么?

光追目标是模拟现实世界中光传播过程:

光源
 ↓
物体表面
 ↓
反射/折射
 ↓
摄像机
 ↓
最终像素

核心问题不是矩阵乘,而是几何计算。

主要包括:

3.1 光线与三角形求交

游戏世界通常由大量三角形组成。

光追需要判断:

一条光线是否碰到了某个三角形?碰撞点在哪里?

数学上属于 Ray-Triangle Intersection。


3.2 BVH 空间搜索

现代游戏场景可能包含百万级三角形。

如果逐个检测:

光线
 ↓
三角形1
 ↓
三角形2
 ↓
...
 ↓
三角形1000000

计算量巨大。

因此使用 BVH(Bounding Volume Hierarchy):

整个场景
 |
 +--区域A
 |    |
 |    +--物体
 |
 +--区域B

类似数据库索引,通过空间层级快速排除无关区域。


4. 为什么光追的核心求交阶段不适合 Tensor Core?

Tensor Core 的强项是规则、批量的矩阵乘累加;而传统 ray tracing 的 BVH 遍历与几何求交包含大量树遍历、不规则访存、分支判断和几何测试。

if ray intersects bounding_box:
    traverse child nodes
else:
    skip subtree

因此 BVH traversal / ray intersection 不是 Tensor Core 的典型工作负载,这也是 RT Core 专门加速这些操作的原因。

但不能扩展成“整个实时光追流水线都不用 Tensor Core”。现代图形渲染还可能结合 AI 去噪、超分辨率、神经渲染等矩阵计算,这些阶段可以使用 Tensor Core。


5. RT Core 的作用

RT Core 是 NVIDIA 为光线追踪设计的专用硬件。

主要加速:

  • BVH Traversal(包围盒层级遍历)
  • Ray-Triangle Intersection(光线三角形求交)
  • Ray-Box Intersection(光线包围盒求交)

它类似于:

  • CPU 的 AES 加密指令
  • CPU 的 AVX 向量指令

通过专用硬件提高特定任务效率。


6. H100 / B200 与 RT Core:不要用游戏 GPU 的结构去套数据中心 GPU

H100、B200 面向 AI、HPC 和数据中心加速。NVIDIA 的 H100 与 Blackwell 数据中心官方规格重点公开 Tensor Core、HBM、NVLink、Transformer Engine 等能力,并未像 GeForce RTX 产品那样列出面向图形光追的独立 RT Core 配置或 RT Core 性能指标。

因此,在工程笔记里最稳妥的表述不是“所有 H100/B200 一定物理上不存在任何光追相关逻辑”,而是:

H100/B200 并不是以 RTX 式 RT Core 光追能力为产品接口和性能卖点的数据中心 GPU,不能按 RTX 显卡的光追能力使用或比较。

GeForce RTX 的图形产品栈则明确包含 RT Core,用来硬件加速 BVH 遍历和光线求交等工作。


7. B200 能不能做“光线追踪计算”?

需要区分两件事。

第一,自己用 CUDA 编写 ray tracing / ray-triangle intersection 算法:可以。 光追归根结底也是可编程计算,通用 GPU 计算单元可以实现 BVH、求交、路径追踪等算法,只是未必具有 RTX RT Core 那样的专用硬件加速效率。

第二,把 B200 当作 RTX 游戏显卡运行依赖 DirectX/DXR 的游戏光追:不能据此推导可行。 这还取决于驱动、图形 API、显示/虚拟化配置与应用支持;B200 的产品和软件生态首先面向数据中心计算,而不是桌面游戏。

所以“B200 能计算光追算法”与“B200 适合玩带 RTX 光追的游戏”是两个完全不同的问题。


8. AI 和光追的本质区别

AI大模型 光追
核心数学 矩阵运算 几何计算
主要问题 线性变换 光传播模拟
计算结构 规则密集 不规则搜索
主要专用加速 Tensor Core(矩阵计算) RT Core(BVH / 求交);AI 去噪等阶段还可使用 Tensor Core
典型场景 LLM训练推理 游戏渲染

9. 对 LLM Infra 学习的启发

理解 GPU 架构不能只看 FLOPS。

不同工作负载需要不同硬件:

  • LLM → Tensor Core + HBM + NVLink
  • 图形 → RT Core + CUDA + 显存
  • 通用计算 → CUDA Core

未来 AI 与图形可能融合:

  • 神经渲染
  • AI生成3D世界
  • NeRF
  • 游戏中的 AI 光照

GPU 架构正在从单一计算设备发展为多种专用计算单元组合的平台。