Neural Thickets 阅读笔记：随机权重专家、集成成本与复现边界

整理日期：2026-10-07。问题来源：10月上旬可见对话中的论文链接/研究兴趣；本次已阅读作者论文v1，项目与代码作为复现入口，未复现实验，也未把作者结果记为用户实验。

论文与版本

Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights，Yulu Gan、Phillip Isola，arXiv:2603.12228。本文分析明确锁定2026-03-12的v1，不默认它等于最新修订版。论文v1、作者项目、作者代码

问题与核心机制

作者研究预训练权重邻域中是否已经存在大量任务专家。v1的RandOpt从原权重附近随机采样扰动，按任务评估选择top-K，再以多数投票集成预测；其方法无须对每个候选做多轮梯度更新。论文报告的是特定任务/模型实验，不证明随机方法普遍替代梯度或RL。

教学表达：θ_i=θ_0+σϵ_i；在选择集评估得分r_i，选集合S=TopK(r)，测试时聚合成员预测。σ、扰动尺度如何按张量处理、候选数量N和K都属于实验配置，而非任意取值都有效。

三个必须拆开的成本

搜索阶段要评估N个候选；存储阶段要处理扰动/权重表示；部署阶段要执行K个成员并聚合。随机搜索可并行，不代表总计算量消失。适合搜索阶段的吞吐优化也不一定能解决部署延迟。

多数投票适用于能归一化答案的场景；自由文本、图像等结构化输出不能机械用相同投票规则。任务专家的存在密度与预训练条件有关，机制仍有开放问题。以上边界来自v1限制讨论。

本次阅读的研究问题

作为推理系统选题，比较单模型、同模型多样本投票与扰动模型集成，匹配总生成token预算、时间/费用及质量门槛；把权重切换、缓存复用、尾延迟与聚合开销计入。不能只对比“候选可同时运行”的理论并行度。

复现前固定基础模型revision、扰动分布/seed、选择集/测试集隔离、prompt、生成预算、评分器和投票规则；避免用测试集选专家。分析单候选质量与多样性，才知道集成收益来自哪里。

与后续工作和RL的联系

作者项目存在后续Iterative RandOpt讨论；它应单独锁版本、算法和实验口径，不能把单模型迭代版的结果混入v1集成版。此次未引用其具体跑分作为已复核结论。后续作者文章

与RL的联系在“围绕任务评估优化预训练模型”，但训练状态、优化器、权重同步与部署成本不同。延伸阅读verl 入门：连接大模型强化学习后训练与推理系统。最有价值的下一步是一个预算匹配的小复现，而不是将论文标题解读为“训练已经不需要了”。