GPU 与 NPU 多任务共享：进程并发、MPS、MIG 和虚拟化边界

问题起点

2026-09-18 17:18：GPU能否同时运行多个任务，是否需要虚拟化，昇腾是否有对应能力？

四个不同的问题

多进程只是多个程序提交工作，并不自动获得显存、算力、性能和故障的强隔离。多个模型可以争用同一设备，最终是否高效取决于资源余量、调度与实际 kernel 重叠。

NVIDIA MPS 面向多个 CUDA 进程的协同执行；MIG 在受支持GPU上划分硬件资源实例；虚拟机里的设备直通或 vGPU 又是虚拟化部署层问题。它们解决的问题和支持矩阵不同，不能用“能同时启动”替代隔离测试。MPS 官方文档、MIG 官方说明（核查 2026-09-20）

对昇腾的正确提问

应区分同设备多进程、容器设备分配、虚拟NPU实例及资源隔离。此次未拿到目标机器的精确SKU与虚拟化支持矩阵，不把“NPU不支持共享”或“全部910C均支持某种切分”写作结论。

核对设备型号、驱动/固件、CANN版本、容器运行时和官方虚拟化文档；然后用两种负载观察显存边界、吞吐干扰、尾延迟与任务失败影响。容器限制可见设备，不自动限制设备内部资源份额。

实践选择

独占任务适合性能基线；同卡多实例适合余量利用，但需测干扰；硬件分区适合有隔离诉求且支持该特性的设备；虚拟机方案还要检查运维和授权要求。

教学例：两个各占40%显存的服务虽能加载，KV Cache随并发增长仍可能耗尽剩余空间。容量核算应覆盖权重、缓存、workspace和峰值，而不是只加权重文件大小。