推理系统与部署

整理日期：2026-09-14。来源：当天可见聊天摘要；原理说明为整理时补充，非完整对话逐字稿。未取得的设备参数与未验证的结论明确保留为待核实。 问题起点 “8 卡 910C 有多少显存？考虑 KV Cache，1M 上下文能部署多少 B 的模型？” 这个问题不能仅用总显存除以参

整理日期：2026-10-07。范围来自本次实际可检索对话、可见提问摘录与已保存材料；原回答不完整处由本次教学推导补充，以下算例均非设备实测。技术来源核查于2026-10-07。 问题起点 9月29日问到CP与TorchTitan，近期又从vLLM rollout、sleep/w

1. 核心认知 深度学习模型从训练到部署，不是直接运行 Python 模型，而是经过多个抽象层： 典型链路： 昇腾生态： --- 2. PyTorch 模型格式 .pt / .pth PyTorch 原生保存格式： 主要保存： - Tensor 权重 - 参数字典 - optim

模型转换与推理部署实践：ATC、算子适配、精度调试与性能优化 1. 从训练模型到线上推理服务的完整链路 深度学习模型从训练完成到真正部署到 GPU/NPU 上运行，通常需要经历多个阶段： 对于 LLM Inference 工程师来说，模型转换、精度调试和性能优化是连接算法模型与硬

AI Confidential Computing：火山引擎 AICC、大模型推理安全与 GPU/NPU 机密计算原理 背景：为什么大模型时代需要机密计算？ 随着企业开始将核心业务接入大模型，新的矛盾出现： - 企业希望使用云端大模型能力 - 但是不希望云厂商、运维人员、其他租户

AI推理入门：算力趋势、昇腾推理解决方案与应用实践学习总结 1. 学习背景 来源：华为 iLearning《AI算力平台推理解决方案及应用实践》 本课程内容部分较早，主要用于建立 AI 推理领域的基础认知，理解： - 为什么推理正在成为 AI 基础设施的核心需求 - 训练与推理在

一句话理解 DCP： Decode Context Parallelism（解码上下文并行）不是把模型权重继续切细，而是把同一个请求的历史 KV Cache 沿 sequence/context 维度 分散到多个设备；每张卡只对自己的 KV 分片计算局部 Attention，最后

整理日期：2026-09-16。问题起点： DeepSeek V4.1 的模型结构变化，为什么会让 inference infra 明显变难？ 本文不重复模型结构本身，而从 serving runtime 的状态、并行、通信、存储层级和验证方法推导工程影响。当前实现状态以 202

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。 今天引用的配置 GLM-5.3-Flash 文档给出两台 Atlas 800 A2，每台一个 DP rank，节点内 TP8，

问题起点 2026-09-18 17:18：GPU能否同时运行多个任务，是否需要虚拟化，昇腾是否有对应能力？ 四个不同的问题 多进程只是多个程序提交工作，并不自动获得显存、算力、性能和故障的强隔离。多个模型可以争用同一设备，最终是否高效取决于资源余量、调度与实际 kernel 重