AI Infra 黄金开源项目地图：Serving、KV、通信、Kernel 与训练
问题起点
AI Infra 项目很多，但不是每个项目都值得长期投入。真正高价值的项目，通常处于性能关键路径、系统 abstraction 边界或跨硬件通用层，能够训练出可迁移的系统能力，而不是只让人熟悉某个工具。
判断“黄金项目”的标准
一个项目是否值得深挖，可以用五个维度判断：
- 是否位于 compute / memory / communication / scheduling 的关键路径；
- 是否承载稳定而通用的系统 abstraction；
- 是否有高质量社区、review 和持续演进；
- 是否能通过 benchmark / profiling 验证贡献；
- 学到的能力是否可以跨硬件、跨框架迁移。
项目地图
| 层次 | 代表项目 | 主要学习对象 |
|---|---|---|
| Inference Runtime / Serving | vLLM、SGLang、TensorRT-LLM | scheduler、batching、KV、model execution、spec decode、parallelism |
| Cluster Inference | NVIDIA Dynamo | routing、P/D、KV-aware scheduling、autoscaling、集群级资源管理 |
| KV / Data Movement | Mooncake、NIXL、LMCache | 远端 KV、分层缓存、RDMA、HBM/DRAM/SSD、数据传输 abstraction |
| Communication | NCCL、DeepEP | collective、All-to-All、EP dispatch/combine、topology |
| Kernel / Compiler | Triton、FlashInfer、FlashAttention | tiling、fusion、attention、GEMM、MoE、memory hierarchy |
| Framework / Runtime | PyTorch | dispatcher、device abstraction、compiler、distributed runtime |
| Distributed Training | Megatron-Core | TP/PP/DP/CP/EP、大规模训练、计算通信重叠 |
第一主线：vLLM / SGLang
这是理解现代 LLM serving 的最直接入口。
重点不是 API，而是源码中的以下对象如何协同：
Request
↓
Scheduler
↓
Batch / Prefill / Decode
↓
KV Cache Manager
↓
Model Runner / Attention Backend
↓
Distributed Executor
应该重点追踪：continuous batching、chunked prefill、prefix cache、speculative decoding、P/D、DCP/CP、EP、KV Connector。
第二主线：Mooncake / NIXL / LMCache
这一层代表正在快速形成的 Distributed KV / State Infrastructure。
问题本质是：
State 放在哪里？
谁拥有？
什么时候搬？
如何跨 HBM / DRAM / SSD / remote node？
如何让 scheduler 利用已有 cache locality？
这条线与 P/D、KV Pool、长上下文和 Agent workload 高度相关。相比只研究单卡 kernel，它更接近集群级 inference 的核心新问题。
第三主线：NCCL / DeepEP
NCCL 是理解 GPU 集体通信和 topology 的基础；DeepEP 则把问题聚焦到 MoE Expert Parallel 的 token dispatch / combine。
需要建立的知识链：
MoE Router
↓
Token → Expert placement
↓
All-to-All / Dispatch
↓
Network / NVLink / RDMA
↓
Load balance + latency
这条线尤其适合连接 Ascend 的 HCCL / HCCS / SuperPod 经验，形成 CUDA 与 Ascend 两套实现上的统一理解。
第四主线：Triton / FlashInfer / FlashAttention
这一层用于理解“系统策略最后如何落到 kernel”。
FlashAttention 的关键思想不是某个具体 API，而是 IO-aware algorithm：通过重新组织计算减少 HBM 数据搬运。FlashInfer 更贴近 inference kernel library，涉及 attention、GEMM、MoE 和 backend dispatch。Triton则是理解 kernel DSL、compiler IR、tiling 和 codegen 的重要入口。
如果主线是 distributed inference，不必把全部时间押在 kernel 上，但必须具备足够底层能力判断：瓶颈究竟是 kernel、memory bandwidth 还是 communication。
第五主线：PyTorch / Megatron-Core
PyTorch 是更底层的 AI runtime abstraction。要理解 device plugin、dispatcher、compiler、distributed，需要最终回到这一层。
Megatron-Core 则是训练 Infra 的重要入口。训练侧的 TP、PP、CP、EP 与推理侧高度相关，只是 workload、状态和同步机制不同。
推荐的学习优先级
对以 inference + distributed + Ascend/CUDA 双生态为目标的人，更合理的是：
主战场：vLLM / vLLM-Ascend
第二主战场：SGLang / NPU backend
专项 1：Mooncake / NIXL / KV infrastructure
专项 2：DeepEP / NCCL / communication
底层必修：Triton / FlashInfer
长期扩展：PyTorch / Megatron-Core
重点不是同时成为所有项目 maintainer，而是选一条纵向链打穿，例如：
Scheduler
↓
KV ownership
↓
KV transfer
↓
RDMA / communication
↓
hardware topology
或者：
MoE Router
↓
EP
↓
DeepEP
↓
NCCL/HCCL
↓
network topology
与已有笔记的联系
- 如何分层学习推理 Infra：从 CUDA 基线到昇腾，再到训练与 RL：本页可作为其“具体开源项目地图”。
- MoE 推理中的 Expert Parallel、KV Cache 与大规模专家并行架构解析：对应 DeepEP / NCCL 主线。
- PD 分离、DCP 与 KV Pool：计算分工、缓存分片和跨节点复用：对应 Mooncake / NIXL / KV 主线。
选择项目时的原则
不要按 Star 数量简单排序。长期价值更依赖：是否处于系统关键路径、是否暴露真正的 abstraction 问题、是否有真实 workload、是否能形成可验证贡献。
2026-09-16 增量：MADSys、KTransformers 与 AgentENV
今天进一步追问项目背后的团队、KTransformers 的当前价值，以及 AgentENV 是做什么、谁在使用。以下按项目证据解释，不给实验室或公司编造综合排名。
KTransformers 当前官方定位包含 CPU/GPU 异构推理与微调，公开入口包含 Inference 和 SFT。研究价值在于利用不同设备的容量与计算特性，让模型状态和算子放在合适位置；不能用某个旧版本的“冷热专家”概括所有当前实现。具体收益取决于 CPU、内存带宽、NUMA、GPU 和互联组合，需要同机同模型比较。官方仓库
AgentENV 管理大规模 Agent 执行环境，重点是环境启动/恢复、快照、分叉和资源复用，属于 Agent/RL 的环境执行基础设施。它不替代模型推理引擎；一个系统可以同时需要模型生成 token 的服务和执行工具调用的隔离环境。AgentENV 仓库
项目方 2026-07-27 发布文章说明，该项目由清华 MADSys 与 Moonshot AI 联合开源，并称已用于包括 Kimi K3 在内的 Agentic RL 训练。这是公开的项目方采用声明，不是本次独立审计，也不能据此列出未披露客户或市场份额。项目方发布说明（本次核查：2026-09-16）
把三个项目放回同一条链
Mooncake 重点处理模型服务中的状态/数据移动；KTransformers 关注异构计算执行；AgentENV 关注 Agent 与环境交互的运行成本。三者回答的是不同瓶颈问题，选择研究入口应看你要解释的是网络、设备内存与算子，还是环境生命周期。
可复现阅读练习：分别画出一次 KV 传输、一次异构层计算、一次环境 snapshot/fork 的对象与生命周期，再找指标。不要将项目 README 的最佳性能数字直接写成自己机器的预测结果。