分类

推理系统与部署

vLLM、SGLang、KV Cache、PD 分离与容量规划

W8A8C8 与 GPQA:把量化位宽、数值误差和模型能力分开看
2026-10-17
整理日期:2026-09-14。来源:当天可见聊天摘要;原理说明为整理时补充,非完整对话逐字稿。未取得的设备参数与未验证的结论明确保留为待核实。 今天两个看似独立的问题 “W8A8C8 的 C 是什么意思?”以及“GPQA 精度验证是什么?” 两者的连接点是:降低精度节省资源之后
0
|
0