🧭 5年 Foundation Model Algorithm-System Co-design 研究路线

🎯 终极目标

成为 Foundation Model Algorithm–System Co-design Researcher。

不是单纯的：

CUDA 工程师
LLM Infra 工程师
RL 算法研究员

而是能够打通：

科学问题
 ↓
数学建模
 ↓
算法设计
 ↓
训练 / RL / 推理系统
 ↓
Distributed Runtime
 ↓
Kernel / Hardware
 ↓
GPU + Ascend NPU

核心研究主题：

Efficient Intelligence：如何用更少的数据、算力、通信获得更强智能。

🌳 三大技术尖峰

1. LLM / Agent Learning Algorithms

重点：

Pre-training
Post-training
RLHF
PPO
GRPO
DAPO
GSPO
Agent RL
Reasoning Learning

目标：

从「复现算法」升级到「创造算法」。

2. Distributed AI Systems

重点：

Megatron
FSDP2
verl
vLLM
SGLang
TensorRT-LLM
MindSpeed
vLLM-Ascend

研究方向：

Async RL
Weight Sync
Rollout Scheduling
Train-Inference Co-design
Large Scale Training

3. Hardware / Kernel Co-design

双生态：

NVIDIA

CUDA
CUTLASS
CuTe
Triton
NCCL
Nsight

Ascend

CANN
Ascend C
TorchNPU
HCCL
msProf

目标：

理解算法如何映射到硬件。

🚀 五年成长路线

Year 1：Research Apprentice

目标：理解已有方法为什么成立。

能力：

推导 PPO / GRPO / DPO 数学
自己实现 mini-RL
复现论文
建立实验体系

核心项目：

mini-rl-lab
mini-transformer-train
CUDA kernel lab
Ascend kernel lab

验收：

能够回答：

这个算法什么时候有效？什么时候失败？

Year 2：Independent Researcher

目标：发现别人没有问的问题。

重点：

Efficient Reasoning / Agent RL

研究：

Async RL
Policy Staleness
Adaptive Compute
Credit Assignment
Reward Modeling
MoE RL

研究循环：

Observation
 ↓
Hypothesis
 ↓
Mathematical Model
 ↓
Prediction
 ↓
Experiment
 ↓
New Algorithm

Year 3：Algorithm-System Co-design Researcher

目标：同时改变算法和系统。

重点问题：

Async RL

系统问题 → 优化问题

Adaptive Compute

推理成本 → 学习目标

MoE RL

Routing × Communication × Optimization

Low Precision Learning

FP8/FP4 × Optimization Dynamics

Year 4：Research Agenda Owner

目标：建立连续研究方向。

形成自己的研究树：

Efficient Agent Learning
│
├── Efficient Sampling
├── Async RL
├── Credit Assignment
├── Adaptive Compute
├── Tool Learning
└── Hardware Efficient RL

从单篇论文转向长期 research agenda。

Year 5：Research Leader

目标：形成领域影响力。

成果组合：

Paper
+
Code
+
Benchmark
+
System

建立：

新算法
新 benchmark
开源框架
新研究方向

🔬 核心研究方法

不要只学习算法，要攻击算法假设

例如 GRPO：

不要只问：

GRPO 怎么实现？

而问：

为什么 group normalization 有效？
group size 改变会发生什么？
reward variance 如何影响 gradient？
async rollout 会不会破坏假设？

创新通常来自：

找到一个大家默认正确、但其实没有被验证的假设。

📒 Research OS 方法

每个研究方向建立：

Problem
Assumptions
Literature
Hypothesis
Prediction
Experiments
Failures
Ideas
Paper
Code

重点记录：

Negative Results

无法解释的实验现象，往往是创新入口。

🧪 第一批研究项目建议

GRPO Failure Atlas
Async RL Benchmark
Staleness-aware RL Algorithm
Adaptive Reasoning Compute
Resource-aware Agent Training
CUDA vs Ascend RL System Benchmark
MoE Routing + RL Co-design

🏁 最终能力模型

从：

使用模型
 ↓
优化模型
 ↓
理解模型
 ↓
分析模型
 ↓
创造模型算法
 ↓
定义下一代模型训练方式

最终目标：

成为能够同时理解算法、系统、硬件，并推动 Foundation Model 下一代发展的研究者。