2026-09-04 LLM Inference 推荐论文总结

今日主题：Inference 从单点加速走向 Runtime + Algorithm + System Co-design

今天 LLM inference 方向最值得关注的趋势：

推理优化正在从「kernel 优化」逐渐演进到「模型、runtime、调度、硬件协同优化」。

核心关键词：

Speculative Decoding
Adaptive Serving
KV Cache / Memory Optimization
Agent Inference
Hardware-aware Runtime

1. AgentSpec：面向 LLM Agent 的 Speculative Decoding

核心问题

传统 speculative decoding 假设生成过程稳定：

draft model
    ↓
candidate tokens
    ↓
target model verify

但是 Agent 工作流：

Reasoning
 ↓
Tool Call
 ↓
Reflection
 ↓
Planning

具有强结构变化，导致 draft token 容易失效。

核心思想

AgentSpec 根据 agent workflow 结构限制 speculative 区域：

只在高置信度 reasoning block 进行 draft
动态调整 speculative length
减少无效 draft 计算

研究价值

未来 inference 不只是优化 token generation，而是：

Model
 +
Runtime
 +
Application semantics

融合优化。

2. Speculative Pre-Positioning：推理提前执行

核心思想

类似 CPU branch prediction。

传统：

User request
 ↓
Decode
 ↓
Return

新方法：

Idle GPU time
 ↓
Predict possible future states
 ↓
Precompute
 ↓
Instant response

本质变化

LLM serving 开始引入：

speculative execution
session prediction
state caching

未来 runtime 可能类似：

Browser Cache
+
CPU Branch Prediction
+
LLM KV Cache

3. Speculative Decoding 性能模型研究

论文方向：Speculative Decoding Latency Modeling

关键发现

Speculative decoding 的性能不是固定加速。

受到：

batch size
request load
acceptance rate
draft length
verification cost

影响。

重要启示

不要只优化 draft model：

错误方向：

make draft faster

更重要：

make verification cheaper

优化方向：

fused verification kernel
KV reuse
attention optimization
scheduler optimization

4. SPECTRE：多模型服务中的 Speculative Serving

核心思想

利用低负载模型作为 draft model：

small model service
        |
        v
 draft tokens
        |
        v
large model verification

把整个模型集群变成 speculative decoding pool。

意义

未来云端 LLM serving：

不是一个模型一套 GPU，而是：

Model Fleet
 ↓
Dynamic Resource Sharing
 ↓
Inference Optimization

今日研究方向总结

第一梯队（值得深入）

1. Speculative Decoding ⭐⭐⭐⭐⭐

学习路线：

Speculative Sampling
 ↓
Medusa
 ↓
EAGLE
 ↓
Tree Speculation
 ↓
Adaptive Speculative Serving

2. KV Cache 系统优化 ⭐⭐⭐⭐⭐

重点：

PagedAttention
KV Quantization
KV Compression
Prefix Cache
KV Offload

3. Runtime Scheduler ⭐⭐⭐⭐⭐

重点：

Continuous batching
Prefill/Decode disaggregation
Request scheduling
GPU utilization optimization

给 LLM Inference 专家的学习建议

目标路线：

CUDA Kernel
    ↓
FlashAttention
    ↓
vLLM / SGLang
    ↓
Speculative Decoding
    ↓
Distributed Serving
    ↓
Training-Inference Co-design
    ↓
New Inference Algorithm

最终目标：成为能够同时理解：

GPU architecture
CUDA kernel
Runtime system
Model architecture
Inference algorithm

的全栈 LLM Systems Researcher。

今日一句话总结

LLM inference 的下一阶段，不是单纯让 GPU 算得更快，而是让整个智能系统更聪明地决定「什么时候算、算多少、缓存什么、预测什么」。