AI推理入门：算力趋势、昇腾推理解决方案与应用实践学习总结 1. 学习背景 来源：华为 iLearning《AI算力平台推理解决方案及应用实践》 本课程内容部分较早，主要用于建立 AI 推理领域的基础认知，理解： - 为什么推理正在成为 AI 基础设施的核心需求 - 训练与推理在

一句话理解 DCP： Decode Context Parallelism（解码上下文并行）不是把模型权重继续切细，而是把同一个请求的历史 KV Cache 沿 sequence/context 维度 分散到多个设备；每张卡只对自己的 KV 分片计算局部 Attention，最后

整理日期：2026-09-16。问题起点： DeepSeek V4.1 的模型结构变化，为什么会让 inference infra 明显变难？ 本文不重复模型结构本身，而从 serving runtime 的状态、并行、通信、存储层级和验证方法推导工程影响。当前实现状态以 202

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 今天引用的配置 GLM-5.3-Flash 文档给出两台 Atlas 800 A2，每台一个 DP rank，节点内 TP8，

问题起点 2026-09-18 17:18：GPU能否同时运行多个任务，是否需要虚拟化，昇腾是否有对应能力？ 四个不同的问题 多进程只是多个程序提交工作，并不自动获得显存、算力、性能和故障的强隔离。多个模型可以争用同一设备，最终是否高效取决于资源余量、调度与实际 kernel 重

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 核查范围 核查日期为 2026-09-14。你希望知道 K3 是否支持长上下文、DCP、池化，以及改配置还是改源码。本节记录公

问题起点 在讨论推理 Infra 的长期不变量时，Locality 与 Parallelism 经常被并列提出。它们不是两个孤立术语，而是几乎所有高性能推理设计都会遇到的一对基本矛盾： 如何把工作拆开并行，同时尽量让计算靠近数据，减少通信与搬运。 Locality：局部性 Loc

整理于 2026-09-18，回顾北京时间 9 月 17 日的提问。依据可见摘录及当日重新查证的官方资料；没有登录服务器或复测补丁。 问题起点 你从 Mooncake、MemCache、YuanRong 的差别，追问 use layerwise、PD 共置，再根据他人使用 MMC