0
0

2026-09-14 学习复盘：昇腾推理、容量规划与多服务器工程实践

2026-10-17
工程实践与复盘

收录范围

依据 2026-09-14 当前可见聊天摘要整理，补充一手技术资料核查。历史检索未取得当天完整聊天正文，因此这是可见内容的主题复盘，不声称覆盖当天所有对话。

2026-09-14 去重整理：两会话创建的 14 篇主题笔记已按内容合并为 6 篇正式笔记，保留各自有价值的说明、算例和资料来源，并按原有主题目录归档。DCP 沿用已有完整长文。本页为统一复盘入口；另一套复盘及 8 篇旧稿移入「99 回收站」，保留以便恢复。沿用中文目录和无表情风格。

今日笔记

建议阅读顺序

先读 A3 设备层级，分清物理模组、设备节点和 HBM；接着读软件栈与 Tiling；然后用容量预算理解 1M 上下文压力，结合 DCP 与 W8A8C8 研究优化；最后用 SSH 和系统资产记录把学习落到多机实践。

今天形成的知识联系

  1. 双 Die 与设备映射决定如何计算实际可用容量。
  2. KV Cache 随上下文和并发增长，DCP 与 C8 分别从分布和表示方式改善资源使用。
  3. 算子优化与 Tiling 下沉作用于不同开销；先定位性能瓶颈，再决定优化层级。
  4. 量化资源收益要与数值、任务和业务质量验证一起评估。
  5. SSH 密钥、连接复用和 Ansible 分别解决认证、连接和批量管理问题。

纠错与未决问题

  • 约 3 GB 空闲 HBM 占用尚未确认来源，不能直接归因于固件或驱动。
  • 8 卡 910C 的准确可用 HBM、目标模型与并发未齐，不给出虚假的最大模型参数量。
  • veLinux 2（lyra）的上游版本待目标机证据与官方资料确认。
  • Driver、Firmware、CANN 的完整开源边界需逐组件查许可证与构建依赖，不能由宣传表述推导。
  • Atlas 900 A2 PoD 的精确硬件配置未取得，当前笔记只解释产品与设备层级，不编造节点数。

对话中的非技术插曲

当天还有对聊天标题出现无关异常词语的反馈。作为一次界面命名问题记录，不将异常词语纳入技术博客标题，也不臆测原因。

下一次实测需要保留的数据

完整 npu-smi 输出与设备映射、目标模型 config、量化格式、请求长度与并发、各软件版本、TTFT/单 token 延迟/吞吐，以及目标服务器 os-release 信息。

晚间增量：17:30 以后新增学习内容

本次新增 9 篇专题，已检查现有目录避免重复；W8A8/C8、INT8 scale 与 FP8 的追问补入已有量化笔记。来源包括新增对话摘要、离线推理日志检索摘录和官方资料；未取得全部聊天逐字记录。前文“6 篇正式笔记”指白天去重结果。

晚间形成的关键联系

  • MLA 压缩表示、DSA 稀疏访问、KDA 递归状态，分别改变缓存与计算，不应混为一项优化。
  • W8A8 不决定 KV 精度；DP2/TP8 加 EP 不一定是两份完整独立副本。
  • PD、DCP、KV Pool 处理不同层面；AscendStore 可以使用 Mooncake 后端。
  • TPOT 是时间，生成速率才与其近似互为倒数；上下文增长不能解释为 TPOT 按 1/x 下降。
  • Kimi K3 文档存在版本口径冲突，功能支持按分支、commit、硬件与缓存布局核查。
  • GLM 的 GPQA 62～65 为用户反馈，尚缺完整评测口径与根因；服务跑通不等于精度验收完成。