昇腾 950 与 Atlas SuperPoD：从计算架构、存储互联到大模型推理优化
从 950 工程营笔记出发，建立“计算架构—存储—互联—软件生态—推理工作负载”的完整理解。
整理日期：2026-09-10。来源为个人课堂记录及公开资料。本篇将“通用技术原理”“厂商公开规划”“已发生的产品进展”“工程营待核实信息”分开；厂商标称指标不等于第三方实测性能，产品亮相也不等于完整规模已经量产交付。
1. 先分清名称与系统层级
Ascend（昇腾）是处理器系列，Atlas 是搭载昇腾的硬件产品品牌，SuperPoD 是超节点系统形态。 原笔记的 altas 应改为 Atlas，不宜把处理器写成“Atlas 950PR”。
| 层级 | 名称与含义 |
|---|---|
| 处理器 | Ascend 950PR、Ascend 950DT：具体芯片产品 |
| 计算系统 | Atlas 950 SuperPoD：由多个计算节点与高速互联系统组成的超节点 |
| 更大规模集群 | SuperCluster：多个超节点互联组成的集群 |
超节点可理解为一个紧密互联、统一协同的计算域。它不是一块超大芯片，也不必局限在一个机柜。“像一台计算机”描述系统抽象，并不保证所有远端访问都和本地访问一样快。
2. 读懂 950：公开规划与课堂记录分开
下面仅压缩记录已查到的官方规划，不将其当作当前交付规格。来源：华为 HC2025 徐直军主题演讲，2025-09-18。
| 项目 | 官方公布口径 |
|---|---|
| 950PR | Prefill / Recommendation；HiBL 1.0；2025 路线图原计划 2026Q1 推出。到 2026-09，CANN 9.0 已公开 Ascend 950PR 指令集与样例支持，说明软件栈已进入实际适配阶段；具体商业出货规模仍需单独核实。 |
| 950DT | Decode / Training；HiZQ 2.0；144 GB；访存 4 TB/s；计划 2026Q4 |
| 950 架构方向 | SIMD + SIMT；增强向量处理；访存粒度 512 B → 128 B |
| 低精度 | FP8、MXFP8、HiF8、MXFP4；公开标称 FP8 1 PFLOPS、MXFP4 2 PFLOPS |
| 950 互联 | 2 TB/s；不要写成 2 Tb/s |
| 后续处理器计划 | 960：2027Q4；970：2028Q4 |
| Atlas 950 SuperPoD | 设计上最多扩展到 8,192 个 NPU。2026-02/03 已在 MWC 面向全球亮相；2026-07 华为又公开展示 1,024 卡真机集群。2025 路线图中的 8,192 NPU 满配与 2026Q4 节点应理解为完整规模产品目标，而不能再写成“Atlas 950 到 Q4 才首次出现”。 |
| 协议 | UB = UnifiedBus；UBoE = UnifiedBus over Ethernet |
上述算力不用于跨产品直接排名；需要核实具体 SKU、精度、稀疏性和测量边界。
截至 2026-09-10 的状态更新
- Ascend 950PR：2025 官方路线图给出的上市时间是 2026Q1；CANN 9.0 当前已经公开 950PR 相关指令集与开发样例支持。本文据此把它视为已经进入公开软件支持与产品落地阶段，但不凭软件支持推断具体出货量。
- Atlas 950 SuperPoD：2026-02/03 已在 MWC 2026 亮相，官方称可通过 UnifiedBus 扩展到 8,192 NPU；2026-07 的 WAIC 展示了 1,024 卡真机集群，并给出 1 EFLOPS FP8、2 EFLOPS FP4、256 TB 全局统一内存编址空间等该展示系统指标。
- Ascend 950DT：2025 路线图仍指向 2026Q4；截至本文整理日，不应把它写成已经完成大规模交付的既成事实。
因此原课堂笔记中的“950 Q4 上线”过于粗糙。更准确的时间线是：950PR 原计划 2026Q1；Atlas 950 SuperPoD 已在 2026 上半年公开亮相并在 7 月展示 1,024 卡真机；950DT 与更大规模满配系统仍要区分后续 Q4 产品节奏。
来源：华为 HC2025 路线图、华为 MWC 2026 Atlas 950 SuperPoD、华为 WAIC 2026 1024 卡真机、CANN 9.0 Release Notes
3. AI 芯片的三个基本约束：算力、容量与带宽
“算力是速度上限，内存是规模边界，带宽是效率保障”适合作为入门记忆，但应进一步精确化：
- 计算吞吐：每秒能够完成多少次指定精度的运算。
- 内存容量：能否容纳权重、KV Cache、激活、临时工作区，以及训练状态。
- 数据搬运能力：包括片上、片外内存与跨芯片通信，不是单一带宽。
一种简化的性能分析方法是：
其中 I 是算术强度，即每从所分析内存层搬运一个字节，完成多少 FLOP。相应地：
F 为运算量，D 为实际搬运字节数。该模型暂未计入通信、启动、同步和无法重叠的阶段。
**教学例子，非 950 实测：**假设峰值为 1,000 TFLOPS，内存带宽为 4 TB/s，则分界算术强度为 250 FLOP/Byte。若某算子只有 20 FLOP/Byte，内存带宽给出的上限约为 80 TFLOPS。即使矩阵单元继续翻倍，也无法自动突破这一约束。
这解释了为什么推理优化经常优先做量化、批处理、融合和数据复用，而不是单纯增加计算单元。
4. “AI 计算逻辑简单”正确到什么程度
神经网络中存在大量规则、重复、可并行的计算，因此适合用高吞吐硬件加速。但模型里的计算并不只有矩阵乘：
| 计算类型 | 典型用途 | 主要关注点 |
|---|---|---|
| 矩阵 | Linear、QKV 投影、MLP、Attention 中的矩阵乘 | 分块、精度、数据复用、矩阵单元利用率 |
| 向量与归约 | 激活、归一化、Softmax、逐元素运算 | 访存、归约、向量吞吐、融合 |
| 标量与控制 | 循环、地址计算、条件判断、调度 | 指令、依赖、分支和启动开销 |
| 不规则访存与通信 | Embedding 查表、MoE 路由、Gather/Scatter、All-to-All | 访问局部性、粒度、网络、负载均衡 |
原笔记“矩阵乘 90%、向量计算 99%”缺少统计口径，不能保留为通用定量结论。必须先说明是在统计 FLOP、指令条数、算子数量还是运行时间，以及模型、阶段、batch 和精度。
矩阵乘 FLOP 占比很高，也不代表其耗时占比同样高。非矩阵部分算力较弱、搬运或同步较慢时，少量操作就能成为端到端瓶颈。
5. CPU、GPGPU、DSA 与 ASIC：分类维度不同
| 术语 | 准确理解 | 需要避免的误解 |
|---|---|---|
| CPU | 适合复杂控制、通用软件和低延迟任务，也可含 SIMD、矩阵扩展 | CPU 不只做标量运算 |
| GPGPU | 利用 GPU 做通用计算，强调大量线程和吞吐 | 不是 NVIDIA 独有的架构类别 |
| DSA | Domain-Specific Architecture，针对某一类领域工作负载优化 | 并非只能运行一个固定模型 |
| ASIC | Application-Specific Integrated Circuit，专用集成电路 | 与 DSA 不是互斥选项；DSA 可以用 ASIC 实现 |
“架构没有优劣”应改为：脱离工作负载和约束，不存在绝对最优架构；针对明确任务，性能、能耗、成本和易用性可以比较。
AI 芯片里，规则计算阵列的一部分设计问题相对可控，但高端产品仍要解决存储层次、编译器、片间互联、功耗、封装、验证和可靠性。因此不能从“运算重复”推出“AI 芯片整体门槛低”。
6. NVIDIA 的专用单元与 Transformer Engine
原笔记的 tensorCode 应改为 Tensor Core，其典型能力是高吞吐矩阵乘累加。CUDA Core 则是 GPU 中执行通用算术指令的单元称呼，不能与一颗 CPU 核心等量比较。
NVIDIA 的 GPU 同时包含计算单元、寄存器、缓存、内存控制器和互联模块；不同产品并不具有相同组件。RT Core 加速光线追踪中的特定操作，不能据此推断所有数据中心 GPU 都配备 RT Core。
**Transformer Engine 随 Hopper / H100 引入，是低精度硬件能力与软件管理机制的协同。**它不是把整个 Transformer 网络结构固定成一个独立硬件模块；矩阵计算、数值格式转换、缩放等需要协同工作。NVIDIA Hopper 架构详解
可以把这些发展概括为：在可编程计算基础上增加高价值的专用加速能力。不过“DSA 比重不断上升”若要量化，仍需芯片面积或晶体管分配数据。
7. 达芬奇 AI Core：理解功能，再核对数量
工程营笔记把 950 描述为高集成、多 die 合封的 SoC，并按 AI Core、Memory、I/O 三个子系统展开。这个分析框架很有用；具体数量必须落到芯片型号和架构图。
| 模块 | 功能理解 |
|---|---|
| Cube | 矩阵乘累加等密集计算 |
| Vector | 向量、逐元素、归约等非矩阵处理 |
| Scalar / 控制路径 | 地址、循环、条件等控制工作 |
| AI CPU | 承担特定 CPU 侧任务；不能等同于 AI Core 内所有标量执行功能 |
| Memory 子系统 | 内存控制、缓存/缓冲、数据搬运 |
| I/O 子系统 | 主机和其他处理器之间的通信 |
原笔记同时出现“1 Cube + 2 Vector”和“2 Cube + 1 Vector”，二者矛盾。**本篇不擅自选一个作为 950 的已确认硬件规格。**还要区分 AI Core 的逻辑计数、AIC/AIV 的执行资源划分和物理单元数。
“每 AI die 18 个 AI Core、两 die 共 36 个”可保留为课堂记录，但不能据此推导具体产品一定启用 36 个核心。
不同 SKU 可能通过屏蔽部分资源形成产品档位；原因除了制造缺陷，也可能包括功耗、频率和产品定位。不能把所有低规格版本都解释为瑕疵芯片。
8. SIMD + SIMT：编程方式和执行效率都要看
SIMD 强调一条指令对一组数据执行相同操作；SIMT 向开发者提供多线程抽象，各线程拥有自己的索引和执行状态，硬件组织线程并行运行。两者不是“旧技术与新技术”的简单替代关系。CUDA 编程模型
对规则连续数据，显式向量化往往很高效；对不规则索引、边界和分支较多的逻辑，线程抽象可能更自然。但 SIMT 仍会遇到分支分化、非合并访存和资源占用问题。
课堂中“SIMD 处理零散数据很麻烦”的经验，可以理解为：开发者可能需要手动组织掩码、Gather/Scatter、数据布局和边界处理。SIMT 可以改善表达方式，不会自动把随机访问变成高速连续访问。
因此，混合能力的价值应通过真实算子评估：实现难度是否降低、访存是否减少、有效吞吐是否提升，而不只是比较模式名称。
9. 为什么 Cube 与 Vector 的协同会影响 FlashAttention
Attention 不止两次矩阵乘，中间还有缩放、Softmax、归约和归一化。FlashAttention 用分块和在线计算减少 HBM 与片上 SRAM 之间的读写，避免将完整注意力矩阵反复写回外部内存。FlashAttention 原始论文
**根据这一算法结构作出的工程推论：**若矩阵单元与向量单元之间的数据路径更短、更快，就可能减少中间结果搬运和等待，让融合内核更容易发挥收益。
但课堂所述“950 新增专用高速通道”及其性能提升幅度，本次没有取得独立架构材料；不能仅凭算法原理证实该实现。
“Vector:Cube 从 1:16 变为 1:8”同样需要说明精度与吞吐统计方法。即便比例属实，也不是物理核心数量比例，更不能推出所有算子性能翻倍。
10. HBM、DDR、封装与存储介质
**HBM 并不是与 GPU 在同一块硅片上一起光刻。**常见结构是逻辑 die 与独立制造的 DRAM 堆栈通过先进封装连接。HBM 堆栈自身可使用 TSV 实现垂直连接，再通过封装内互联接入计算芯片。TSMC CoWoS 技术说明
DDR 是存储技术与接口体系，不等于“内存条”。DIMM 是常见模块形态，也存在板载 DRAM。
| 维度 | 常见 DDR 系统内存 | HBM |
|---|---|---|
| 位置 | 常见为主板上的内存模块或板载芯片 | 通常与计算 die 在封装内紧密互联 |
| 互联 | 主板、模块 PCB 走线 | 高密度封装互联及堆栈内垂直互联 |
| 扩展 | DIMM 通常便于更换与扩容 | 容量通常随封装固定 |
| 取舍 | 成本、容量、可维护性 | 高带宽、能效、封装密度 |
“DDR 64/128 bit，HBM 1024 bit”要给出比较层级：DDR 的单通道、多个通道合计，与 HBM 的单堆栈、多个堆栈合计不是一回事；代际也会变化。不能把 1024 bit 写成所有 HBM 的永久固定规格。
带宽的基本关系为：
HBM 的高带宽来自宽接口、堆叠、封装和多个堆栈等共同设计，不是简单提高频率。例如 Micron 的 HBM3E 产品页展示了 8 层、12 层堆栈和每堆栈超过 1.2 TB/s 的产品能力。Micron HBM3E
先进封装并未消灭 PCB：封装基板、主板仍承担机械、电源和系统连接等功能。
HiBL、HiZQ 与“白鹭、朱雀”
课堂把两者分别类比为“GDDR-like、wire bonding”与“HBM3E-like、TSV”。这些类比保留为未独立核实的工程营解释，不能当作已确认的协议兼容性、制造供应链或封装结构。
Wire bonding 应译为“引线键合”；TSV 是“硅通孔”。两者都是互联技术，不能单凭名字断言某一产品良率更高或延迟更低。
“自主可控”也不自动证明每个制造环节、材料、设备与基础 die 都完全自主，本文不作此延伸。
11. Die、Chiplet 与互联：带宽数字必须带上下文
Die 是晶圆上制造、切割后形成的裸片，不是“芯片加工的最小单位”。Chiplet 强调把系统功能分解为可组合的芯粒；多 die 合封是一种实现方式，最终还受成本、封装和互联约束。
| 互联层级 | 分析问题 |
|---|---|
| AI Core 内部或单元之间 | 寄存器、缓冲、数据交换、同步 |
| 封装内 die-to-die | 跨 die 的带宽、延迟、内存可见性 |
| 处理器之间 / 超节点内 | 互联协议、拓扑、聚合带宽、通信库 |
| 超节点之间 | 集群网络、拥塞、路由与可靠性 |
课堂中的 SIO、UB die、HiLink 不能混成同一层级。“HiLink”可能指高速接口相关模块，但原记录不足以确定其准确命名、所在层和功能；也不能直接当作 HCCS、UB 或消费产品的 HiLink 平台。
“两个 AI die 之间 5 TB/s、比前代提升十倍”保留为待核实记录。要追问：是单向还是双向总和？单链路还是聚合？理论还是有效吞吐？
即使跨 die 带宽显著改善，软件寻址透明也不等于访问成本均匀。能否忽略 die 差异，要看编程模型、数据放置和实际性能。
“910C 是胶水芯片”不适合作为技术结论。应讨论多 die 封装的收益及跨 die 数据传输代价，并以架构资料、基准测试说明；本文不把“两个 910B 直接拼接”当作已完成验证的精确描述。
单位校正
- 1 Byte = 8 bit。
- 2 TB/s = 16 Tb/s；2 Tb/s = 0.25 TB/s。
- “910C 784G”“950DT 2T”“950 访存 4T”缺少单位和对象时不能直接比较。
- 原笔记中的“2T”与“4T”不必然冲突：可能分别指互联与内存访问，但应回看课件确认。
- 对外互联总带宽、内存带宽、封装内 die-to-die 带宽不能相加后称为“芯片带宽”。
12. 为什么 Prefill、Decode 与训练需要不同资源配比
以下是工作负载分析，不是某款产品实测。
Prefill 一次处理多个输入 token，矩阵乘通常更容易复用权重、提高算术强度；长上下文下还要关注 Attention 和激活访存。
Decode 逐步生成 token。小 batch 时，每一步计算对权重读取的摊销较弱，常受带宽影响；随着 batch、上下文和并行配置变化，也可能受计算、KV Cache 或通信制约。
训练 涉及前向、反向和优化器更新，除计算外还有梯度、优化器状态与集体通信成本。
推荐系统 不能一概视为计算密集：Embedding 查表可能更受容量、随机访问与通信影响，稠密网络部分才更接近矩阵吞吐问题。
因此，按阶段配置不同资源有合理性，但 PD 分离也要付出 KV Cache 传输、排队和调度成本。是否划算，应对比端到端吞吐和延迟。
13. 自研芯片、Agent 与软件生态
模型厂商自研或参与定制芯片，可能希望降低单位 token 成本、改善供给和能效，并针对稳定工作负载协同优化。但还要摊销研发、流片、软件迁移和运维成本。
原笔记提到“智谱、DeepSeek 等都想自研”，缺少可核验的具体声明，因此不作为已确认公司动向。
**推理专用不等于把模型权重永久烧进芯片。**多数可编程加速器仍从内存加载模型；定制通常体现为算子、数据流、精度、内存与互联设计。真正固定模型或权重的方案是另一类取舍。
“训练仍以 NVIDIA 为主”如果要写成市场结论，必须给出地域、时间、指标和来源；不能与“其他平台不能训练”混为一谈。
Agent 增加了模型调用、工具执行、检索、CPU 调度和长上下文处理的组合需求。CPU 与 GPU/NPU 的紧耦合可能降低数据交换成本，但仅仅“放在一块板上”并不保证加速，关键是协议、带宽、延迟和软件是否利用这些能力。
**硬件提供能力，生态决定这些能力能否稳定转化为业务价值。**生态包含框架、编译器、算子库、通信库、调试工具和工程经验。CT 与 IT 都需要生态和长期服务，“CT 卖完就结束、IT 才重生态”的二分法不准确。
14. 工程营待核实清单
以下保留原始信息价值，但不升级为正式产品事实：
| 课堂记录 | 后续需要的证据 |
|---|---|
| 2 AI die + 2 I/O die；另提 UB die | 完整封装框图；UB die 是否与 I/O die 重合 |
| 每 AI die 最多 18 AI Core，共 36 | 具体 SKU、屏蔽资源与逻辑/物理计数 |
| 1 Cube + 2 Vector / 2 Cube + 1 Vector | 原课件，解决前后矛盾 |
| Linxi816 CPU / AI CPU | 准确型号、ISA 与功能分工 |
| HiLink | 原图位置、全称、协议与接口说明 |
| 950 有编解码，960 后取消 | 对应产品功能清单与规划版本 |
| Vector:Cube 从 1:16 到 1:8 | 精度、频率、计算吞吐口径 |
| SIO 5 TB/s、提升十倍 | 双向/单向、聚合范围、前代基准 |
| HiBL / HiZQ 的键合与制造细节 | 供应商技术资料或封装剖面 |
| 950 比 910C 性能下降，对标 H100/H200 | 同精度、同 batch、同功耗与同模型的测试 |
| 芯片变小、良率提升 | die 面积与可核实制造/成本数据 |
| 910C 2025Q1 | 区分芯片上市、系统发布和实际交付日期 |
针对“950 性能下降”，正确做法是拆分矩阵峰值、向量、带宽、容量、互联、功耗和成本。某项峰值降低，并不能推出端到端推理更慢；同样，新一代也不保证每种工作负载都更快。
15. 把工作见闻变成推理工程能力
“不断在工作中获取知识，做有心人”可以落实为可复用的记录流程：
- 写清原话、日期、产品 SKU、课件页码与单位。
- 将每条判断标成：已验证事实、厂商规划、讲师解释、个人推测。
- 把产品变化转化为性能假设，例如“向量增强是否减少 Softmax 等待”。
- 用最小实验检验：GEMM、向量/归约、随机访存、融合 Attention、跨卡通信。
- 最后看端到端：TTFT、每 token 延迟、吞吐、显存、功耗及单位 token 成本。
实验应固定模型、精度、输入/输出长度、batch、并行策略和软件版本。对 CUDA 与昇腾的学习，都应围绕算子的数据流为什么与硬件匹配或不匹配展开。
工程营事务备注：原笔记提到“8 月除 950 工程营外还有解决方案营”，年份、时间和报名信息未提供，保留为待查事项，不推定为未来日程。
16. 关联阅读
- Chiplet 技术详解：设计取舍、CoWoS 区别与 LLM 推理性能
- Transformer Engine：NVIDIA 面向 Transformer 的 FP8 加速技术解析
- RT Core 与 Tensor Core：光追计算和 AI 矩阵计算的硬件分化
本文保留工程营线索，同时纠正基础概念与数字口径；补充课件后可继续将第 14 节逐项核实。