GPQA 阅读笔记：Google-proof、选择题与可扩展监督

整理于 2026-09-16，补录 9 月 15 日的论文翻译、Google-proof 与监督含义追问。本文为导读和核心概念梳理；未取得先前完整翻译，不标记为全文翻译已完成。

这篇论文在问什么

GPQA 用专家构建的研究生级科学选择题，研究“即使能检索资料，非领域专家仍难可靠判断答案”的问题。Google-proof 表达的是原研究条件下抵抗简单检索解题的难度，不是证明任何搜索引擎、检索智能体或未来模型都永远无法解答。

原论文题目涉及生物、物理、化学。main 集为 448 题，Diamond 为更严格筛选的 198 题，Extended 为 546 题。不同子集得分不能直接比较；筛选条件还会影响专家与非专家在子集上的统计表现。原论文

原始 GPQA 是四选一任务。模型可先生成推理，再输出选项，但评测通常按最终选择判对错；“输出很长”没有把原题变成开放问答。随机均匀选择的理论准确率是 25%，这是由四选一推得的基线，不是任何模型实测。作者数据与评测仓库

有很强的一般知识，不等于在每个专业领域都能验证答案。可扩展监督要研究的，是当被监督系统在某个问题上比监督者更强时，如何借助证据、问题分解、辅助系统或交叉检验提升判断质量。

教学场景：让不熟悉某个细分领域的评审判断两个模型回答，比较“独立判断”和“借助模型解释或反驳后判断”的正确率。GPQA 已有参考答案，可用于检查辅助是否真的提高判断质量。此例为解释性延伸，不是声称原论文已完成这些实验。

先确定 main/diamond 等子集、版本、提示模板、生成预算、选项是否打乱及答案提取规则。只有最终分数，不足以区分知识错误、推理失败、预算截断或解析失败。

模型对某题判断正确，也不证明推理过程可靠；反过来，格式提取失败也不能直接归因于量化数值误差。关联：AISBench 与推理服务评测：依赖、思考预算和结果可比性。

你还问到双语网页和可配置 AI 模型的浏览器插件。Immersive Translate 官方文档提供双语网页阅读及多翻译服务配置的说明，可作为一个核查入口；具体服务、付费功能和自定义模型方式以当前文档为准。官方使用文档

技术论文建议先保留英文术语、公式、表格与实验条件，再阅读译文。尤其不要把 Google-proof 译成“搜索绝对无效”，或把 scalable oversight 只理解为“增加人工审核人数”。网页译文不等于对公式和实验结论的核验。

先读研究问题和数据构造，再看子集筛选与评测方法，最后读模型结果及局限。逐节翻译应保留原文版本和对应章节；当前仅完成核心导读，全文翻译请求仍应在原论文会话或独立翻译任务中核对交付。