推理系统与部署

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 核查范围 核查日期为 2026-09-14。你希望知道 K3 是否支持长上下文、DCP、池化，以及改配置还是改源码。本节记录公

问题起点 在讨论推理 Infra 的长期不变量时，Locality 与 Parallelism 经常被并列提出。它们不是两个孤立术语，而是几乎所有高性能推理设计都会遇到的一对基本矛盾： 如何把工作拆开并行，同时尽量让计算靠近数据，减少通信与搬运。 Locality：局部性 Loc

整理于 2026-09-18，回顾北京时间 9 月 17 日的提问。依据可见摘录及当日重新查证的官方资料；没有登录服务器或复测补丁。 问题起点 你从 Mooncake、MemCache、YuanRong 的差别，追问 use layerwise、PD 共置，再根据他人使用 MMC

核心结论： KV Cache 解决的是历史 token 的 Attention 重算问题；Expert Parallel（EP）解决的是 MoE 专家参数的跨设备放置问题。Decode 时，历史 token 不会重新经过 MLP/MoE，但每个新位置的 hidden state

问题起点与证据 来自北京时间 2026-09-18 15:08、17 时段的追问：MTP 是什么，和投机解码有什么关系，rank 指什么，45% 接受率是否正常？ 用户提供的日志摘要：rank0 接受 12,726 / 草拟 28,302，约 45.0%，平均接受长度 2.33；

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 三个问题应分别理解 PD 分离把 Prefill 与 Decode 放到不同引擎或资源组；DCP 把解码所需的历史 KV 分摊

整理日期：2026-09-16。本文记录的是一个“支持状态快照”，结论会随 SGLang Ascend、GLM-5.3-Flash 和 Ascend 后端快速演进而变化。判断“支持”时，应区分模型前端、通用 runtime、硬件 backend、特性组合和生产验证，不能只看仓库里

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 三个时间指标 TTFT 是从请求开始到首个 token 的时间，通常包含排队、输入处理和 Prefill 等开销。TPOT 是

verl 的核心作用，是把大模型“生成回答、评估奖励、更新参数、同步权重”的循环组织成可运行的分布式强化学习训练系统。 整理日期：2026-09-10。本文从“verl 是干什么的？”出发，结合官方资料梳理概念，并连接推理与训练系统知识。 1. verl 是什么？ verl 全名

整理日期：2026-09-16。问题起点是：既然 PyTorch 已支持 Ascend、ROCm、Intel GPU 等设备，为什么 vLLM 还需要大量硬件适配代码，尤其 vLLM Ascend 为什么会形成一个很大的独立插件？ 核心结论 PyTorch 的设备支持主要解决“张