核心结论 ：GQA（Grouped Query Attention，分组查询注意力）本质上是让多个 Query Head 共享一组 Key/Value Head。它在尽量保留多头注意力表达能力的同时，显著减少 KV Cache 的容量和读取流量，因此尤其适合 算力很强，但显存容量

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 从今晚的问题开始 你先问 MLA 是什么，再问 KDA 是否让 DCP 不再必要，并提出需要补齐 DSA 等模型架构知识。这些

回顾 2026-09-17 的问题，整理核查于 2026-09-18。公式和小例子为教学推导，不是用户模型的训练记录。 问题起点与维度纠正 你问 Wr h 为何被称为向量，以及“没选中的专家没有试过，梯度怎么知道下一次该选谁；换专家时 loss 会不会跳变”。 设单 token

整理日期：2026-09-14。来源：当天可见聊天摘要；原理说明为整理时补充，非完整对话逐字稿。未取得的设备参数与未验证的结论明确保留为待核实。 问题起点 “8 卡 910C 有多少显存？考虑 KV Cache，1M 上下文能部署多少 B 的模型？” 这个问题不能仅用总显存除以参

整理日期：2026-10-07。范围来自本次实际可检索对话、可见提问摘录与已保存材料；原回答不完整处由本次教学推导补充，以下算例均非设备实测。技术来源核查于2026-10-07。 问题起点 9月29日问到CP与TorchTitan，近期又从vLLM rollout、sleep/w

1. 核心认知 深度学习模型从训练到部署，不是直接运行 Python 模型，而是经过多个抽象层： 典型链路： 昇腾生态： --- 2. PyTorch 模型格式 .pt / .pth PyTorch 原生保存格式： 主要保存： - Tensor 权重 - 参数字典 - optim

模型转换与推理部署实践：ATC、算子适配、精度调试与性能优化 1. 从训练模型到线上推理服务的完整链路 深度学习模型从训练完成到真正部署到 GPU/NPU 上运行，通常需要经历多个阶段： 对于 LLM Inference 工程师来说，模型转换、精度调试和性能优化是连接算法模型与硬

AI Confidential Computing：火山引擎 AICC、大模型推理安全与 GPU/NPU 机密计算原理 背景：为什么大模型时代需要机密计算？ 随着企业开始将核心业务接入大模型，新的矛盾出现： - 企业希望使用云端大模型能力 - 但是不希望云厂商、运维人员、其他租户