硬件、算子与编译

传统attention是O(n^2)复杂度 flashAttention用分块和重算减少了显存IO，但是理论复杂度还是O(n^2) gpu算除法可能比较慢 qkv cuda模型 thread warp block sm grod 1 个warp是32个thread 执行相同命令

整理日期：2026-09-10。根据本次关于 AI Infra、硬件体系结构、MFU 与超节点网络拓扑的讨论整理；通用概念参考 PaLM、NVIDIA 网络文档与华为 Atlas 800T A3 官方资料。未能从公开权威资料核验的产品拓扑信息单独标注为待确认。 核心结论 对于 A

由失败现象建立可检验解释 9月22日围绕Sinh、int32转换、UB预算由4改6、InitBuffer及hang展开。可见材料包含一段对故障原因的解释，但没有完整kernel、所有缓冲声明或设备错误日志；因此“必然是32B对齐导致hang”仍是待验证假设。 UB账本怎样算 对每

整理日期：2026-09-10。根据本次 Chiplet 技术讨论整理；厂商事实附官方资料，教学模型和性能推导单独注明。 核心结论 Chiplet 负责系统如何拆分和分工，CoWoS 是实现高密度封装连接的技术方案之一，HBM 是高带宽内存。 Chiplet（芯粒）是为组合成更大

问题链与阅读目标 来源：2026-09-21—23的AI Core/CUDA Core、UB/L1/L0、TBuf/TQue、SIMD/SIMT、不规则访存和Tensor Core追问。本篇是整理时补充的教学解释，不是已在你机器上验证的性能结果。 核心问题是：数据放在哪里，由谁搬

整理日期：2026-10-07。范围来自本次实际可检索对话、可见提问摘录与已保存材料；原回答不完整处由本次教学推导补充，以下算例均非设备实测。技术来源核查于2026-10-07。 问题从哪里开始 9月24日追问矩阵AB的行/列切分、7个元素怎么均分；10月上旬的提问摘录进一步涉及

HBM、CoWoS 与 Chiplet：AI 芯片从晶体管竞争走向先进封装竞争 1. 背景：为什么 AI 芯片越来越依赖先进封装？ 随着大模型规模增长，GPU 的计算能力快速提升，但数据搬运成为新的瓶颈。 AI 加速器面临两个核心问题： - Tensor Core 等计算单元越来

RT Core 与 Tensor Core：光追计算和 AI 矩阵计算的硬件分化 1. 核心观点 GPU 并不是只有一种计算模式。NVIDIA 的不同 GPU 产品线会按目标工作负载配置不同类型的计算资源，例如： - Tensor Core：面向矩阵乘累加与 AI/HPC 低精度

定位 ：LLM Systems / LLM Inference Optimization；Hardware & Kernel 关键词 ：Hopper、H100、FP8、Tensor Core、混合精度、KV Cache 1. 背景：为什么需要 Transformer Engine