HBM、CoWoS 与 Chiplet：AI 芯片从晶体管竞争走向先进封装竞争

1. 背景：为什么 AI 芯片越来越依赖先进封装？

随着大模型规模增长，GPU 的计算能力快速提升，但数据搬运成为新的瓶颈。

AI 加速器面临两个核心问题：

Tensor Core 等计算单元越来越强
内存带宽无法匹配计算需求

因此 AI 芯片竞争逐渐从单纯的制程竞争，转向：

计算芯片 + 高带宽内存 + 先进封装 + 高速互联的系统竞争

典型代表：NVIDIA Hopper、Blackwell 架构。

2. DDR 与 HBM 的区别

2.1 DDR：通用 DRAM 接口体系

DDR（Double Data Rate SDRAM）更准确地说是一类通用 DRAM 标准与接口体系。服务器和 PC 中常见形态是 DIMM 内存条，内存控制器通过主板 PCB 走线与 DRAM 通信。

CPU 内存控制器
      |
主板 PCB 通道
      |
DDR DIMM / DRAM

其优势通常是标准化、容量扩展和成本；代价是接口宽度、板级信号完整性、功耗和可扩展频率受到较强约束。

需要注意：GPU 的传统板载显存更常见的是 GDDR，而不是把普通 DDR DIMM 直接接到 GPU 上。 因此讨论“HBM vs DDR”时，本质是在比较近封装、超宽接口的高带宽内存路线与传统板级 DRAM 路线，而不是简单比较“GPU 内存”和“CPU 内存”。

2.2 HBM：贴近计算芯片的高带宽内存

HBM（High Bandwidth Memory）是一种面向高性能计算的 DRAM 技术。

核心思想：

不依靠极高频率，而通过超宽接口提供巨大带宽。

HBM 结构：

HBM Stack
-----------
DRAM Layer
DRAM Layer
DRAM Layer
DRAM Layer
Base Die

通过 TSV（Through Silicon Via，硅通孔）连接上下层 DRAM。

3. HBM 为什么比 DDR 快？

核心区别：接口宽度。

DDR：

较窄接口 + 高频率

HBM：

超宽接口 + 大量并行通道

HBM 可以提供 TB/s 级别内存带宽。

例如：

NVIDIA H100 使用 HBM3
Blackwell B200 使用 HBM3E

AI 模型训练和推理需要持续搬运权重、激活、KV Cache 以及临时数据，因此 HBM 的 TB/s 级带宽成为高端 AI 加速器的重要能力。但 HBM 的核心优势首先是带宽与带宽/功耗，而不是保证所有访问都比 DDR 具有更低延迟；容量、成本、封装复杂度同样是重要约束。

4. HBM 是否和 GPU 光刻在一起？

这是一个常见误解。

错误理解：

HBM 和 GPU 是一起光刻制造的。

正确理解：

晶圆制造阶段

GPU Die 单独制造
HBM DRAM Die 单独制造

        ↓

先进封装阶段

GPU + HBM 合封

HBM 来自：

SK hynix
Samsung
Micron

GPU 厂商通过先进封装技术将两者组合。

5. CoWoS：把关键互联推进到封装内部

CoWoS（Chip-on-Wafer-on-Substrate）是台积电的一组先进封装技术，核心价值是把逻辑裸片、HBM 和其他裸片放入高密度封装互联域。

不能把所有 CoWoS 都画成“GPU + 一整块 Silicon Interposer + HBM”。TSMC 当前公开的家族至少包括：

CoWoS-S：使用大面积硅中介层。
CoWoS-R：使用 RDL interposer。
CoWoS-L：结合 RDL interposer 与局部硅互连（LSI）。

以典型 CoWoS-S 为例：

GPU / Logic Die      HBM Stack
        \              /
         Silicon Interposer
                |
        Package Substrate
                |
               PCB

因此 CoWoS 没有取代 PCB。它把 GPU–HBM 等需要极高布线密度和带宽的关键连接放到封装内部；封装仍通过 substrate 与系统 PCB 连接。与其说“CoWoS 替代了原来的 PCB 连接”，更准确的是：HBM 这类超宽接口从一开始就依赖封装级高密度互联，而不是靠普通主板走线扩展出来的。TSMC CoWoS 官方资料

6. Chiplet：突破单芯片限制

Chiplet 是一种芯片设计思想。

核心思想：

不再制造一个巨大单芯片，而是把功能拆成多个小芯片，再通过高速互联组合。

传统 SoC：

一个巨大 Die
包含所有功能

Chiplet：

Compute Die

Cache Die

IO Die

然后封装成一个完整芯片。

7. Chiplet 的主要收益与代价

7.1 制造良率与 Known-Good-Die 配组

在缺陷密度等条件相近时，裸片面积越大，获得完全无缺陷裸片通常越困难。拆成较小 Die 后，可以先测试筛选合格裸片再封装配组，因此有机会改善有效良率和硅成本。

但不能简单写成“拆小后单颗一定更便宜”：还要付出 Die-to-Die PHY、封装、测试、基板、供电和封装良率等额外成本。

7.2 混合不同制程

不同模块可以选择更适合自己的工艺，例如：

计算逻辑：先进制程
I/O / SerDes：成熟或专用工艺
缓存 / 其他模块：按密度、成本和性能权衡

其价值是避免把所有功能都强行放在最昂贵的先进节点上，但最终是否降低总成本需要结合封装和设计复杂度评估。

7.3 模块复用与产品迭代

Chiplet 架构可以让已经验证过的计算、I/O 等模块在不同产品组合或代际中复用，也有利于形成不同规模 SKU。

这类“升级”发生在芯片厂商的产品设计层，不是用户像更换 DIMM 一样在购买后随意替换某个 Chiplet；接口、封装、固件、供电和系统验证都必须匹配。

8. CoWoS 与 Chiplet 的关系

两者不是同一个概念：

技术	解决的问题
Chiplet	如何拆分芯片
CoWoS	如何在同一封装内高密度集成逻辑裸片、HBM 和/或多个裸片

二者经常一起出现，但不存在必然绑定关系：

Chiplet 架构 ──可采用──> CoWoS 等先进封装
单逻辑 Die + HBM ──也可采用──> CoWoS

因此：CoWoS 不等于 Chiplet，采用 CoWoS 也不能据此断定计算芯片一定由多个 Chiplet 构成。

9. 为什么 DDR 无法简单升级成 HBM？

表面看：如果 PCB 更先进，DDR 是否也能达到 HBM？

答案：很难。

原因：HBM 的优势不是单纯频率，而是：

极短距离
超宽接口
3D 堆叠
封装级互联

PCB 很难承载数千条高速并行连接。

DDR 继续发展会服务：

CPU 大容量内存
通用计算

HBM 服务：

AI GPU
HPC 高性能计算

10. AI Infra 视角总结

未来 AI 芯片核心竞争力：

Compute Die
    +
HBM
    +
CoWoS
    +
Chiplet
    +
高速互联

可以把 HBM 看作 GPU 的高速数据仓库，把 CoWoS 看作高速公路，把 Chiplet 看作模块化建筑。

AI 时代的瓶颈正在从“如何制造更多晶体管”，转向“如何让计算、内存和互联形成高效系统”。

延伸阅读

进一步理解芯粒划分、良率教学模型、互连代价以及 LLM 推理性能：Chiplet 技术详解：设计取舍、CoWoS 区别与 LLM 推理性能。

关键概念速记

HBM：高带宽内存，解决 AI GPU 内存带宽问题
DDR：通用内存，强调容量和成本
TSV：连接 HBM 多层 DRAM 的硅通孔技术
CoWoS：先进封装技术，连接 GPU 与 HBM 等芯片
Chiplet：模块化芯片设计方法
Advanced Packaging：未来 AI 芯片的重要竞争方向