0
0

vLLM Ascend 离线推理日志：加载、编译、预热与正式生成

2026-10-17
工程实践与复盘

整理日期：2026-09-14（晚间增量）。依据当天新增问题、可见对话摘录与一手资料整理，不是完整逐字稿。教学推导与用户反馈分别注明，未执行服务器操作。

代码做了什么

LLM(model="Qwen/Qwen3-0.6B") 创建推理引擎并加载模型；SamplingParams(temperature=0.0,max_tokens=32) 设置贪心采样及最多新增 token 数。generate 接收两个普通字符串，执行文本续写；并未自动把它们变成带系统提示的聊天消息。

outputs 是每条请求的结果集合，output.outputs[0].text 取第一候选文本。assert 数量相同检查返回条数，assert generated_text.strip() 只检查非空，不证明答案质量。!r 用 repr 方式展示空白和转义符。官方快速开始

为什么简单调用会打印很多日志

初始化包含平台与设备发现、模型配置与 tokenizer、权重取得与加载、执行图编译、内存规划、缓存分配、预热及 worker 管理。一个 Python 调用可能触发多进程和多个运行时阶段。

本次可检索到的实验摘录

来源是此前上传的“粘贴的文本 (1).txt”的检索摘录，本次未重新取得完整文件逐行复核：

  • 模型来源记录为 ModelScope，日志报告模型权重占用约 1.40GiB；不将该值当作下载压缩包大小。
  • 权重加载约 0.15s，模型加载总计约 33.73s。
  • torch.compile 总计约 17.11s；warmup/profile 总计约 42.05s。
  • 进度条显示输入约 2.01 token/s、输出约 12.88 token/s，两请求处理完成。

这些计时可能嵌套或覆盖不同阶段，不能直接相加成总启动耗时。进度条数值不是排除初始化影响后的标准稳态吞吐。

量化提示与退出信号

摘录显示未找到 quant_model_description.json，模型按浮点路径加载。若本来测试普通浮点模型，这不单独构成错误；需要量化时则应核对权重、量化配置和后端支持，而不是强塞任意参数。

日志随后出现 SIGTERM。它表示收到终止信号；仅凭这条信息无法判定是正常清理、用户结束还是外部管理器终止。需结合退出码与此前错误。

下一次如何测性能

启动后先预热，再在同一引擎中重复固定负载，分别记录初始化时长、正式生成时长、输入输出 token 数与批量大小。两条短 prompt 足以验证基本可运行，不足以给平台排性能名次。