核心结论： KV Cache 解决的是历史 token 的 Attention 重算问题；Expert Parallel（EP）解决的是 MoE 专家参数的跨设备放置问题。Decode 时，历史 token 不会重新经过 MLP/MoE，但每个新位置的 hidden state

问题起点与证据 来自北京时间 2026-09-18 15:08、17 时段的追问：MTP 是什么，和投机解码有什么关系，rank 指什么，45% 接受率是否正常？ 用户提供的日志摘要：rank0 接受 12,726 / 草拟 28,302，约 45.0%，平均接受长度 2.33；

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 三个问题应分别理解 PD 分离把 Prefill 与 Decode 放到不同引擎或资源组；DCP 把解码所需的历史 KV 分摊

整理日期：2026-09-16。本文记录的是一个“支持状态快照”，结论会随 SGLang Ascend、GLM-5.3-Flash 和 Ascend 后端快速演进而变化。判断“支持”时，应区分模型前端、通用 runtime、硬件 backend、特性组合和生产验证，不能只看仓库里

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 三个时间指标 TTFT 是从请求开始到首个 token 的时间，通常包含排队、输入处理和 Prefill 等开销。TPOT 是

verl 的核心作用，是把大模型“生成回答、评估奖励、更新参数、同步权重”的循环组织成可运行的分布式强化学习训练系统。 整理日期：2026-09-10。本文从“verl 是干什么的？”出发，结合官方资料梳理概念，并连接推理与训练系统知识。 1. verl 是什么？ verl 全名

整理日期：2026-09-16。问题起点是：既然 PyTorch 已支持 Ascend、ROCm、Intel GPU 等设备，为什么 vLLM 还需要大量硬件适配代码，尤其 vLLM Ascend 为什么会形成一个很大的独立插件？ 核心结论 PyTorch 的设备支持主要解决“张

整理日期：2026-09-14。来源：当天可见聊天摘要；原理说明为整理时补充，非完整对话逐字稿。未取得的设备参数与未验证的结论明确保留为待核实。 今天两个看似独立的问题 “W8A8C8 的 C 是什么意思？”以及“GPQA 精度验证是什么？” 两者的连接点是：降低精度节省资源之后