HBM、CoWoS 与 Chiplet:AI 芯片从晶体管竞争走向先进封装竞争
2026-10-17
HBM、CoWoS 与 Chiplet:AI 芯片从晶体管竞争走向先进封装竞争 1. 背景:为什么 AI 芯片越来越依赖先进封装? 随着大模型规模增长,GPU 的计算能力快速提升,但数据搬运成为新的瓶颈。 AI 加速器面临两个核心问题: - Tensor Core 等计算单元越来
1833 字
|
9 分钟
RT Core 与 Tensor Core:光追计算和 AI 矩阵计算的硬件分化
2026-10-17
RT Core 与 Tensor Core:光追计算和 AI 矩阵计算的硬件分化 1. 核心观点 GPU 并不是只有一种计算模式。NVIDIA 的不同 GPU 产品线会按目标工作负载配置不同类型的计算资源,例如: - Tensor Core:面向矩阵乘累加与 AI/HPC 低精度
1365 字
|
7 分钟
Transformer Engine:NVIDIA 面向 Transformer 的 FP8 加速技
2026-10-17
定位 :LLM Systems / LLM Inference Optimization;Hardware & Kernel 关键词 :Hopper、H100、FP8、Tensor Core、混合精度、KV Cache 1. 背景:为什么需要 Transformer Engine
1659 字
|
8 分钟
2026-09-04 LLM Inference 推荐论文总结
2026-10-17
2026-09-04 LLM Inference 推荐论文总结 今日主题:Inference 从单点加速走向 Runtime + Algorithm + System Co-design 今天 LLM inference 方向最值得关注的趋势: 推理优化正在从「kernel 优化
609 字
|
3 分钟
从手工调参到 AI Systems Optimizer:LLM Infra 联合优化的学术脉络
2026-10-17
整理日期:2026-09-16。问题起点是:当推理、训练、RL 同时引入 TP/DP/EP/PP/CP、KV/activation/optimizer state、offload、阶段分离、通信 overlap、动态调度以后,系统变量会相互耦合。学术界是否正在形成更统一的方法,而
2347 字
|
12 分钟
GPQA 阅读笔记:Google-proof、选择题与可扩展监督
2026-10-17
整理于 2026-09-16,补录 9 月 15 日的论文翻译、Google-proof 与监督含义追问。本文为导读和核心概念梳理;未取得先前完整翻译,不标记为全文翻译已完成。 这篇论文在问什么 GPQA 用专家构建的研究生级科学选择题,研究“即使能检索资料,非领域专家仍难可靠判
914 字
|
5 分钟
Neural Thickets 阅读笔记:随机权重专家、集成成本与复现边界
2026-10-17
整理日期:2026-10-07。问题来源:10月上旬可见对话中的论文链接/研究兴趣;本次已阅读作者论文v1,项目与代码作为复现入口,未复现实验,也未把作者结果记为用户实验。 论文与版本 Neural Thickets: Diverse Task Experts Are Dense
789 字
|
4 分钟
2026-09-14 学习复盘:昇腾推理、容量规划与多服务器工程实践
2026-10-17
收录范围 依据 2026-09-14 当前可见聊天摘要整理,补充一手技术资料核查。历史检索未取得当天完整聊天正文,因此这是可见内容的主题复盘,不声称覆盖当天所有对话。 2026-09-14 去重整理:两会话创建的 14 篇主题笔记已按内容合并为 6 篇正式笔记,保留各自有价值的说
1266 字
|
6 分钟