DeepSeek V4 1-Flash 架构拆解：CED、CSA2、Engram、mHC 与 DSp
整理日期：2026-09-16。问题起点： DeepSeek 4.1 的模型结构发生了什么变化？这些变化为什么会直接穿透到推理系统？ 本文优先采用 DeepSeek 官方发布、技术报告及 vLLM/vLLM-Ascend 的公开实现与 Roadmap；工程状态按 2026-09-
0
|
0
分类
模型原理与算法
Attention、MoE、量化与模型结构
GQA 深入理解：从 MHA、MQA 到 KV Cache 与内存带宽瓶颈
核心结论 ：GQA（Grouped Query Attention，分组查询注意力）本质上是让多个 Query Head 共享一组 Key/Value Head。它在尽量保留多头注意力表达能力的同时，显著减少 KV Cache 的容量和读取流量，因此尤其适合 算力很强，但显存容量
7
|
0
MLA、DSA 与 KDA：三种 Attention 优化如何改变缓存与推理
整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 从今晚的问题开始 你先问 MLA 是什么，再问 KDA 是否让 DCP 不再必要，并提出需要补齐 DSA 等模型架构知识。这些
0
|
0
MoE Router 如何训练：矩阵维度、Top-K 离散选择与梯度路径
回顾 2026-09-17 的问题，整理核查于 2026-09-18。公式和小例子为教学推导，不是用户模型的训练记录。 问题起点与维度纠正 你问 Wr h 为何被称为向量，以及“没选中的专家没有试过，梯度怎么知道下一次该选谁；换专家时 loss 会不会跳变”。 设单 token
0
|
0