AI推理入门：算力趋势、昇腾推理解决方案与应用实践学习总结

1. 学习背景

来源：华为 iLearning《AI算力平台推理解决方案及应用实践》

本课程内容部分较早，主要用于建立 AI 推理领域的基础认知，理解：

为什么推理正在成为 AI 基础设施的核心需求
训练与推理在系统设计上的差异
昇腾 AI 推理解决方案的技术路线
大模型时代推理产业的发展趋势

2. 为什么推理会成为 AI 主战场

2.1 训练与推理的定位

环节	定义	核心目标
训练（Training）	生产模型的过程	学习参数
推理（Inference）	使用模型创造价值的过程	高效执行模型

未来 AI 商业化落地的核心不是训练多少模型，而是模型被大量调用产生价值。

课程中给出了“推理算力需求可能达到训练算力需求百倍级”的趋势判断。这个数字适合作为需求侧直觉，不应当写成行业通用事实：推理与训练的总算力比例取决于模型规模、训练频率、用户请求量、输入/输出长度、Agent 调用次数、硬件利用率和统计边界。更稳妥的结论是：训练是集中式、阶段性的高强度计算，推理是持续发生、随调用量累积的计算；当模型被大规模长期调用时，生命周期推理算力完全可能超过训练，但不存在固定的 100× 比例。

3. 训练和推理系统设计差异

3.1 训练系统特点

训练关注：

算力利用率
存储访问效率
高速网络通信
多机协同

特点：

单任务
大规模资源协作
对集群通信要求极高

例如：大模型训练需要大量 GPU/NPU 之间进行梯度同步。

3.2 推理系统特点

推理关注：

延迟
吞吐量
成本
多租户资源调度

特点：

多实例、多租户运行
资源需要动态分配与弹性扩缩容
更强调 TTFT、TPOT、吞吐和单位 token 成本
很多场景希望通过横向扩容获得接近线性的容量增长

“推理对网络要求低于训练”只在部分场景成立。传统数据并行训练需要频繁梯度同步，通信通常非常重；但大模型的 Tensor/Expert Parallel、长上下文、多节点 KV 访问、Prefill/Decode 分离等同样可能让推理高度依赖 NVLink、RDMA、RoCE/IB 或其他高速互联。

4. 模型从训练到推理部署流程

典型流程可以概括为：

训练/获取模型 → 导出或模型转换 → 正确性与精度验证 → 性能优化 → 服务化与部署上线

耗时没有统一的“数周级”结论：兼容性好的标准模型可能很快完成基础部署；遇到缺算子、量化精度问题、自定义算子、跨框架转换或多机性能调优时，则可能需要数天到数周甚至更久。

4.1 模型转换

不同训练框架对应不同模型格式：

框架	常见格式
PyTorch	TorchScript / ONNX 等
TensorFlow	SavedModel / PB
MindSpore	MindIR

ONNX 并不是 PyTorch 独有，而是一个跨框架中间表示格式。

跨框架转换可能遇到：

算子缺失
算子不支持
精度变化
性能下降

4.2 精度调试

主要解决：

转换后模型输出是否一致
算子计算误差
量化导致的精度损失

4.3 性能优化

包括：

算子优化
计算优化
内存优化
通信优化
调度优化

5. LoRA 与推理部署关系

LoRA（Low Rank Adaptation）是一种参数高效微调方法。

核心思想：

不修改完整大模型参数，而训练一个低秩旁路矩阵：

W' = W + BA

其中：

W：原始模型权重
BA：训练得到的小规模低秩更新矩阵

优势：

微调成本低
参数量小
可以针对不同任务快速适配

6. 模型压缩技术

推理部署常见优化方向：

6.1 剪枝（Pruning）

删除模型中贡献较小的参数或结构。

6.2 知识蒸馏（Knowledge Distillation）

利用大模型指导小模型学习。

目标：

大模型能力 → 小模型低成本部署

6.3 量化（Quantization）

降低参数精度：

例如：

FP16 → INT8

优势：

减少显存占用
提升推理速度
降低部署成本

7. 两组容易混淆的“在线 / 离线”概念

现代 LLM 系统里，Online Serving 与 Offline/Batch Inference 通常描述的是业务形态，而“是否提前编译模型”是另一条独立维度。

7.1 Online Serving：在线服务

面向交互式请求，核心指标通常是：

TTFT（Time To First Token）
TPOT / ITL（逐 token 延迟）
并发吞吐
SLA 与尾延迟

7.2 Offline / Batch Inference：离线批处理

面向非实时任务，例如批量生成、数据清洗和评测，更关注：

总 tokens/s
GPU/NPU 利用率
单位任务成本

7.3 Ahead-of-Time 编译与框架直接执行

某些传统推理课程会把“在线推理”描述为直接依赖训练框架运行，把“离线推理”描述为提前转换成设备侧模型。这是特定工具链语境，不宜与今天 LLM Serving 中的 online/offline 业务概念混为一谈。模型转换、图优化、算子融合和 AOT 编译可以同时服务在线或离线工作负载。

8. 推理场景分类

8.1 中心推理

运行位置：

云数据中心
AI 集群

特点：

大模型
高吞吐
集中管理

8.2 边缘推理

运行位置：

摄像头
工业设备
智能终端

特点：

低延迟
数据不出本地
成本敏感

未来趋势：

中心推理 + 边缘推理并存。

9. 大模型、小模型市场趋势

大模型

主要玩家：

互联网公司
大模型厂商
云计算厂商

方向：

ChatGPT 类应用
多模态模型
Agent

小模型

主要场景：

视觉识别
OCR
语音
工业应用

特点：

虽然大模型会覆盖大量能力，但小模型仍然具有：

成本低
延迟低
易部署
隐私优势

未来形态：

大模型负责通用智能，小模型负责大量垂直场景。

10. 长序列时代对推理系统的新要求

随着上下文长度增加：

短序列 → 长序列 → 多机推理集群

需要：

多机高速互联
内存统一管理
算存协同

GQA（Grouped Query Attention）是典型的 KV Cache 优化方向之一。它让多个 Query Head 共享较少数量的 Key/Value Head，从而减少 KV Cache 容量和读取带宽，同时保留比 MQA 更多的 KV 头。它尤其有利于 Decode 和长上下文等 KV Cache 压力明显的场景，但并不是专门为“高算力、低内存设备”定义的技术。

11. 昇腾推理解决方案

华为 AI 推理体系主要包括：

11.1 硬件平台 Atlas

产品形态：

边缘推理盒子
推理卡
服务器产品

例如：

Atlas 300 系列
Atlas 500 系列
Atlas 800 系列

11.2 软件生态

MindIE

华为昇腾推理引擎。

包含：

MindIE 推理服务
MindIE Runtime

作用：

连接模型、框架和昇腾硬件。

MindStudio

一体化 AI 开发工具链。

提供：

模型转换
调试
性能分析

12. 推理优化方向

并行优化

提升多卡、多机计算效率。

计算优化

包括：

算子融合
Kernel 优化
Tensor 优化

通信优化

降低多设备同步成本。

调度优化

提升资源利用率。

13. AI 算力产业趋势理解

未来 AI 基础设施竞争不是单纯模型竞争，而是：

模型能力 + 硬件能力 + 软件生态共同竞争。

主要厂商：

NVIDIA
AMD
华为昇腾
国内 AI 芯片厂商

对国产 AI 计算平台而言，推理是非常重要的落地场景之一，因为推理更直接受单位 token 成本、部署形态、行业适配和本地生态影响。但不能把它概括成“国产厂商主要做推理”：训练、后训练和推理都在持续投入，具体竞争力需要按芯片、软件栈、模型适配和集群规模分别评估。

14. 对 LLM Inference 工程师的启发

推理领域不是简单调用模型，而是连接：

模型算法 → 编译优化 → 硬件架构 → 系统调度 → 业务部署

核心能力包括：

理解 Transformer 推理瓶颈
掌握 KV Cache、Attention 优化
掌握 CUDA / NPU Kernel 优化
掌握模型转换和部署流程
理解推理集群架构

LLM Inference 是进入 AI Infra 全栈的重要入口。

15. 需要进一步研究的问题

昇腾 310P 的具体定位和性能
NVIDIA L20 等推理 GPU 产品分析
国产 AI 推理芯片生态竞争
寒武纪等国产芯片供应链和市场情况
GQA 为什么适合高算力低内存设备
大模型推理成本模型和未来算力需求预测