1
0

从 LLM Inference 到 Foundation Model 全栈算法 Infra 专

2026-10-17
学习路线

🧠 从 LLM Inference 到 Foundation Model 全栈算法 Infra 专家成长路线

0. 起点：为什么从 Inference 开始？

LLM 时代，Inference 是理解大模型系统最好的入口。

原因：

  • 能快速看到模型结构、计算图、GPU/NPU执行过程
  • 涉及 Attention、KV Cache、并行计算、Kernel、Runtime
  • 是算法和系统的交叉点
  • 是进入训练、后训练、RL、模型创新的最佳桥梁

目标不是成为单纯的推理工程师，而是成长为：

Foundation Model Algorithm-System Co-design Researcher

即：能够同时理解模型算法、训练方法、推理系统、硬件架构，并创造新的算法和系统。

第一阶段：LLM Inference 专家（0-12个月）

目标

成为世界级 LLM 推理优化专家。

核心能力：

1. 模型执行原理

掌握：

  • Transformer
  • Attention
  • Multi Head Attention
  • RoPE
  • RMSNorm
  • FFN
  • SwiGLU
  • MoE
  • KV Cache

理解：

一个 token 如何从输入经过：

Tokenizer → Embedding → Transformer Layers → Attention → FFN → Sampling

最终生成。

2. 推理 Runtime

深入：

  • vLLM
  • SGLang
  • TensorRT-LLM
  • DeepSpeed-Inference
  • FasterTransformer

重点源码阅读：

Scheduler

→ Continuous Batching

→ KV Cache Manager

→ Memory Planner

→ CUDA Kernel

3. GPU / CUDA 专家路线

掌握：

基础：

  • CUDA Programming
  • Thread / Block / Warp
  • Memory Hierarchy
  • Shared Memory
  • Tensor Core

高级：

  • CUDA Kernel Optimization
  • CUTLASS
  • Triton
  • FlashAttention
  • PagedAttention

目标：

可以自己写高性能 Attention Kernel。

4. 昇腾 Ascend 双修路线

建立国产 AI Infra 能力：

学习：

  • Ascend Architecture
  • CANN
  • MindSpore
  • Ascend Operator Development
  • Kernel Optimization

形成：

CUDA + Ascend 双生态能力。

第二阶段：从 Infra 进入算法（1-2年）

关键认知

Infra 不是算法的对立面。

真正的大模型突破越来越依赖：

Algorithm × System × Hardware

例如：

FlashAttention：

算法思想 + IO优化 + CUDA Kernel

MoE：

模型结构 + Routing Algorithm + Distributed System

Speculative Decoding：

生成算法 + Runtime优化

第三阶段：Pre-training 专家（2-3年）

学习目标

理解一个 GPT 类模型如何从零训练。

掌握：

数据

  • Data Pipeline
  • Data Cleaning
  • Deduplication
  • Tokenization
  • Dataset Mixture

Scaling Law

学习：

  • Chinchilla Scaling Law
  • Compute Optimal Training
  • Model Size vs Data

Distributed Training

深入：

  • Data Parallel
  • Tensor Parallel
  • Pipeline Parallel
  • Sequence Parallel
  • ZeRO
  • FSDP
  • Megatron-LM

第四阶段：Post-training / Alignment 专家（3-4年）

掌握：

SFT

  • Instruction Tuning
  • Dataset Construction
  • Supervised Fine-tuning

RLHF 系列

学习：

  • Reward Model
  • PPO
  • DPO
  • IPO
  • KTO
  • GRPO
  • GSPO
  • DAPO

重点研究：

为什么 RL 可以提升 Reasoning 能力？

第五阶段：Reasoning / Agent Algorithm Research（4-5年）

目标：从使用模型变成创造模型。

研究方向：

Reasoning

  • Chain of Thought
  • Self Consistency
  • Tree Search
  • Process Reward Model
  • Test Time Compute

Agent

  • Tool Use
  • Planning
  • Memory
  • Multi Agent
  • Agent RL

第六阶段：世界级研究能力

从工程问题升级为研究问题

工程：

如何让 vLLM 更快？

研究：

新的 LLM Runtime 如何突破当前 Memory Wall？

Research 能力训练体系

每周

阅读：

  • 5篇论文
  • 1篇深度复现

每月

完成：

  • 一个实验
  • 一个 Benchmark
  • 一个技术报告

每季度

产出：

  • 开源项目
  • 技术博客
  • Workshop Paper

最终能力模型

Level 1

LLM User

懂模型使用。

Level 2

LLM Engineer

懂应用开发。

Level 3

LLM Infra Engineer

懂 Runtime、GPU、系统。

Level 4

Algorithm-System Engineer

懂训练、推理、算法协同。

Level 5

Foundation Model Researcher

能够提出新的模型、训练方法、推理架构。

最终目标

成为：

能读懂 Transformer 论文，能改模型结构，能写 CUDA Kernel，能优化训练系统，能设计 RL 算法，能提出下一代 Foundation Model 架构的全栈 AI Researcher。