2026-09-23—10-07 深度学习复盘：从算子性能到推理、训练与工程闭环
窗口与覆盖范围
北京时间 2026-09-23 14:51（含）—2026-10-07 14:43:58（截至本次请求）。延续上次整理截止点；9月23日前的案例只作知识链接，不计为本窗口新增对话。
本次只使用实际可取得的历史检索摘录、当前可见提问/代码片段、已读取的《AI_Infra_成长行动手册_2026-10.md》全文，以及Notion已有文章和原始学习记录。检索结果随查询主题有差异；广泛查询曾未返回10月4—7日完整聊天，补检索又取到Mem0、工具故障与ITL等摘录。未返回不等于你没问，不能将首次查询结果当成全部历史。
这是可访问内容的深度主题整理，不是全量聊天归档，也不声称覆盖率100%。 原回答缺失时，新增解释标为本次教学推导；没有实验日志时，不补造测试结果。
本轮结果与主线
新增 7篇专题＋本窗口1篇总览，增量更新 9篇正式文章。主线由“名词/单条API”推进到：形状与索引 → 片上复用与Roofline → 低精度路径/质量 → 状态与并行 → 服务/训练闭环 → 真实项目证据。
文章保留问题起点、解释、条件、算例、验证方法与知识联系；用本次日期章节续写既有主题，避免另建量化、PD、Attention、verl、CUDA基础的同题页面。
新增专题索引
| 归档 | 文章 | 新增价值 |
|---|---|---|
| 04 硬件、算子与编译 | GEMM、Triton 与 TileLang：从分块代码到 Roofline 性能账本 | 索引/mask、64×64×32账本、Roofline和验证 |
| 03 推理系统与部署 | 从 CP 到预训练系统：并行切分、状态账本与可恢复训练 | CP/TP边界、训练状态和checkpoint恢复 |
| 07 产业与职业 | 推理框架求职复盘：从昇腾适配到可验证的系统能力 | 真实贡献、求职案例、成长验收与内容创作 |
| 06 工程实践与复盘 | Tailscale Peer Relay 排障复盘：候选可见但会话未建立 | 零allocation/session的分阶段诊断 |
| 05 论文阅读与研究 | Neural Thickets 阅读笔记：随机权重专家、集成成本与复现边界 | 论文v1机制、搜索/部署预算与复现边界 |
| 06 工程实践与复盘 | 模型 API 网关与 Agent 集成：配置自动化、工具协议与故障验证 | 工具结构、历史序列化、配置幂等与回滚 |
| 06 工程实践与复盘 | Mem0 与外部 Embedding：记忆来源、向量一致性与迁移验证 | 来源范围、Embedding一致性和迁移 |
已有正式文章的增量
| 文章 | 本轮重点 |
|---|---|
| CUDA 与昇腾数据流对照：存储层级、分块与异步流水 | CUDA层级、寄存器/occupancy纠正；修复表格 |
| MLA、DSA 与 KDA：三种 Attention 优化如何改变缓存与推理 | 递归/并行/分块线性Attention推导 |
| verl 入门：连接大模型强化学习后训练与推理系统 | trajectory、policy version、sleep/wake状态 |
| 如何分层学习推理 Infra：从 CUDA 基线到昇腾，再到训练与 RL | 成长手册整合、12周验收与闭卷复习 |
| 昇腾算子开发体系：AOL、Ascend C、CATLASS、Triton-Ascend、TileLang 与 PyPTO | 新算子集成、950开源库及跨代支持核查 |
| DP2、TP8 与 MoE EP：两节点部署为何不一定是两份独立模型 | AB按M/N/K切分、7维非整除与通信 |
| PD 分离、DCP 与 KV Pool：计算分工、缓存分片和跨节点复用 | 长Prefill优化、异构P/D的重分片条件 |
| W8A8C8 与 GPQA：把量化位宽、数值误差和模型能力分开看 | 硬件/量化路径、掉点证据与历史精度状态 |
| TTFT、TPOT 与 ITL：为什么上下文变长不会让逐 token 延迟按 1/x 降低 | ITL事件/token差异及TPOT聚合口径 |
按日期核对的问题范围
以下是主题级来源账本，不是完整消息计数；日期均按北京时间。无法取得原问答的精确分钟时只写日期/区间。
| 日期 | 证据范围 | 主题与处理 |
|---|---|---|
| 9月23日14:51后—24日 | 检索摘录 | Triton学习、新自定义算子/CCE、CUDA生态、矩阵切分；已专题整理。生活/项目推荐的旧数字未采纳。 |
| 9月25—26日 | 部分摘录，非全天 | 推理Infra成长/顶尖团队目标；某些周报为旧助手输出，不记为本人实测。 |
| 9月27—28日 | 检索用户反馈＋周报摘录 | 秋招/实习边界、博士机会成本、昇腾培训；补齐量化硬件与长Prefill追问、9月28日凌晨的API聚合需求。 |
| 9月29—30日 | 检索摘录 | CP/TorchTitan、Tailscale、New API、模型路由、DeepSeek昇腾库、算子样例、自媒体。 |
| 10月1—3日 | 零散摘录；10月2日故障已补检索 | Qoder/New API工具文本化；月初线性Attention学习。未取得逐日完整聊天；平台/消费问题未做产品或计费核验。 |
| 10月4日 | 问题/回答摘录＋已保存手册全文 | CUDA/Triton基础、Neural Thickets、Mem0/Embedding、专家成长；手册是规划而非原始逐字对话。 |
| 10月5—6日 | 部分问题与回答摘录 | TileLang分块/Roofline、autotune与回退；电脑无法开机属设备反馈，无维修因果验证。 |
| 10月7日至14:43:58 | 问题/回答摘录，非完整对话 | vLLM roadmap/Flat Model、rollout、weight sync、sleep与14:41的ITL；图表截图未逐项解读。 |
此次纠正与证据分级
用户反馈：9月27日的研三/实习/求职状态只对当时成立；优秀实习生与mentor反馈不是正式录用。个人投机解码工作和团队在线交付分别记录。Tailscale allocation=0/session=0是排查观察，尚未确认根因与修复。
教学算例：64×64×32 tile的8192字节输入/262144 FLOPs，假设设备50 TFLOP/s与1 TB/s的Roofline转折点，ITL 40/80ms等，均非你设备实测。Fragment逻辑大小也不是编译后的实际寄存器清单。
已核查机制：CUDA寄存器与L1分工、Ada驻留限制；Triton索引/掩码与autotune状态；vLLM sleep丢弃KV、ITL事件与请求级TPOT不同；DeepGEMM/DeepEP-Ascend的950目标、TileLang-Ascend的A2/A3验证范围。
兼容性变化：FlashMLA 2026-09-30发布更改KV格式并移除Hopper及部分早期模型支持；稀疏950路径与当前CUDA-only融合路径分开记录。官方benchmark不作为用户跑分。
待确认：泛化量化掉点、HiF8/具体SKU能力、TBE/CCE未来弃用、Qoder flatten的源码根因、Mem0某版功能变化、模型排名、当前免费API配额及个人新offer，均未当成已确认结论。
历史GPQA恢复结果继续引用原复盘：GLM-5.3-Flash 精度异常复盘：从 GPQA 反馈到分层定位。本窗口没有新的逐题实测，不重写为“仍卡在62—65%”。
尚未展开的零散问题
- CUDA shuffle具体截图/第二参数、__manager__原代码，以及Flat Model图中的各格：原图/代码未在本轮逐项验证，不猜测字段含义。
- 模型比较、Claude Code安装/付费/计费与App Store可用性：旧回答涉及变化快的产品状态，本轮未形成可复核版本结论。
- 充电协议、笔记本开机/主板故障：保留观察，未据此认定充电器导致损坏；未取得型号服务手册或诊断报告。
- 椭圆积分/非初等函数、生活项目、gap旅行、金融账户资格和远控产品：部分提问可见，本轮聚焦LLM学习库，未将旧助手的价格、资格、通用建议当成已核实博客。
这些项目留在覆盖账本，不伪称已完整回答或已写成专题。重复pong等测试消息不形成学习笔记；不对未取到的聊天补造内容。
阅读与下一步实践
第一轮：CUDA数据流 → GEMM、Triton 与 TileLang：从分块代码到 Roofline 性能账本 → 量化数据流；手算索引、tile字节和带宽上界。
第二轮：并行/PD → 从 CP 到预训练系统：并行切分、状态账本与可恢复训练 → verl；画出每种状态的所有者、切分与切换条件。
第三轮：模型 API 网关与 Agent 集成：配置自动化、工具协议与故障验证 → Tailscale Peer Relay 排障复盘：候选可见但会话未建立 → Mem0 与外部 Embedding：记忆来源、向量一致性与迁移验证；按生命周期检查“配置可见”和“真实操作完成”的差别。
研究/职业：Neural Thickets 阅读笔记：随机权重专家、集成成本与复现边界 → 推理框架求职复盘：从昇腾适配到可验证的系统能力 → 学习路线的12周验收。现在只选择一个有资源的实验闭环，产出配置、原始结果、解释和反例；不因笔记生成便标记能力已掌握。
去重与写入核对
检查已有学习库及相关原始笔记后，同题内容进入正式文章增量；原始“线性注意力”页含学习过程与图片，作为来源保留，不视为应丢弃的重复稿。本轮未发现需要合并搬入99回收站的确定重复页面；没有永久删除。
专题与正式文章已逐页读回，核对新增章节、知识链接、标题/归档，并修复数据流文章的转义表格。此总览作为该窗口唯一入口；后续取得补充资料应继续更新它，而非另建同窗总览。