给你一套十分钟能跑完的读法，专门对付 AI 论文。

先看它没说的话

我买房时看中过一套二手房。房源描述写得极好：南北通透、采光一流、拎包入住。看完我才注意到三件事它一个字没提——临街、双层隔音差、楼上装修。

论文的摘要就是房源描述。它必然挑最好的讲。我现在的习惯是：看到摘要里出现「我们提出一种新方法，在多个基准上达到最优」这种句子，第一反应不是厉害，是「你没提的失败情况在哪」。

这不是抬杠。2023 年《Patterns》上 Kapoor 和 Narayanan 那篇讲信息泄漏的（doi:10.1016/j.patter.2023.100804）说，测试题如果和训练数据长得太像，分数测的就不是能力，是「见过没有」。这一条在 AI 领域比别的领域严重得多，因为现在语料里很大一块就是网上抓的，而网上到处都是 AI 相关的东西。

先划清这一页的成立范围。截至 2026 年 9 月我核过这一页引的每条链接都还活着，但下面几条方法学文章的时效得你自己再确认一次。这一页讲的是方法，不是某条研究结论，几条经验到现在也没有被正式验证、尚未被广泛复现。而它引用的那几篇方法学文章本身也有时效——Kapoor 和 Narayanan 写于 2023 年，徽章制度那篇写于 2020 年，各会议的做法到 2026 年 9 月又变过好几轮。你拿到的应该是读法，不是标准答案。

十分钟，按这个顺序

我的固定流程，五步：

一，读标题和摘要，但只提取一件事——它声称解决了什么。不要顺手接受它声称的效果，那是待验证的部分。

二，翻到实验设置那一节，找三个数字：测试集有多大、跟谁比、跑了几次。只跑一次的结果不要当真。方差是这一行最容易被藏起来的东西。

三，看它有没有一个更笨的基线垫在下面。如果一个新方法只跟次优方法比，没有跟「什么都不改、只多调一个参数」比，那这个提升很可能来自调参而不是来自方法。

四，找局限那一节。AI 论文的局限常常写得比论文正文诚实，因为审稿人会逼作者写。

五，去 arXiv 页面上看版本号。v1 到 v5 之间作者改了结论，说明 v1 至少有一个问题。

第五步我是被坑过之后才加上的。

我被哪一篇坑过

不是某篇结论错的论文，是一篇论文不存在了。

我记下过一个 2025 年 11 月挂在一处预印本站点上的标题，大意是优化大语言模型的安全约束和越狱防御。写进了自己的笔记。2026 年 9 月再去找那个 DOI，页面上写的是：已撤稿，理由是作者应要求撤回，因为未获得机构授权。

链接还在，标题还在，只在最上面挂了一行「已撤稿」。

这件事对我的改变不是「以后不信预印本」，而是我现在任何时候截图存档，不只截图内容，还截页面状态。撤稿这件事以后还会发生。

「重复」「复现」「可复现」是三件事

2020 年 Zilberman 和 Moore 在 ACM 的通信评论刊物上写过一篇短文（doi:10.1145/3402413.3402422），讲的是「成果徽章」制度——给通过复现审查的论文贴标签。他们指出一个尴尬：如果评价标准只是「这份代码别人能不能拿去用」，那代码再干净，跑起来和论文里说的完全不是一回事，也算通过。

ACM 官方后来把这件事上的用词分成了三层：重复、复现、可复现。同一台机器同一个人再跑一遍得到同样结果，是重复；换一个团队照着做得到同样结果，是复现；换数据、换环境还站得住，才叫可复现。

做 AI 论文的人很少认真对待这个区分。大部分停在第一层。

一条自检清单

我给自己列的检查只有五条，写在便签上：

• 它在几种不同的测试题上测过吗，还是一种？
• 对照组是谁，能不能用更笨的办法达到？
• 结论是「有效」，还是「在我们这套设置下有效」？
• 论文几岁了？六个月的结论我当八卦看，两年的我当线索看。
• 撤了没有？

延伸阅读

• Leakage and the reproducibility crisis in machine-learning-based science（Sayash Kapoor; Arvind Narayanan，2023，Patterns）—— 这门手艺里最该先读的一篇，讲清楚了数据泄漏怎么让漂亮的分数变得没有意义。读它不需要数学基础。doi: 10.1016/j.patter.2023.100804
• Thoughts about Artifact Badging（Noa Zilberman; Andrew W. Moore，2020，ACM SIGCOMM Computer Communication Review）—— 短文，几页，讲清楚了「代码能跑」和「结果能信」之间差着多少。doi: 10.1145/3402413.3402422
• SIGIR Initiative to Implement ACM Artifact Review and Badging（Nicola Ferro; Diane Kelly，2018，ACM SIGIR Forum）—— 把重复、复现、可复现这三个词的正式区分讲清楚了，顺便说明为什么各大会议组的做法一直不一样。doi: 10.1145/3274784.3274786
• Position: Evaluation Scores Are Perishable Knowledge Claims（Sankalp Gilda; Shlok Gilda，2026，GEMS 2026）—— 一篇立场论文，观点很直接：基准上的分数是会过期的，不该当成永恒事实。作者给分数加了三条属性——形式层级、适用范围、有效期，说人话就是「这个分是人评的还是自动指标的」「在哪些题上测的」「什么时候失效（测试集被污染了、分布变了）」。最扎眼的一组数：在公开的 HELM 榜单上，54 个前沿模型、10 个场景，按平均分排的前五名和按最弱项排的前五名完全不重叠。你手上那篇论文的表格，八成就在平均分那一列。2026 年 7 月的立场论文，观点尚未被广泛复现。doi: 10.18653/v1/2026.gem-main.80

动手试试

打开 arXiv，随便找一篇本周新出的 AI 论文，只花十分钟按上面五步走一遍，然后用一句话写下你的判断：「这篇最可能在什么条件下不成立」。

我做过这个练习二十多次，写下来的判断里大概有三成会被后来的版本或者别人的复现推翻。但另外七成到现在也没被推翻——这个比例本身已经足够划算了。你甚至不需要看懂公式，看懂设置那一节就能做完。

下一站

这一层到这里走完了。整站读完，你可以回头把 L0 那句「互联网会猜下一个字」拿来对照——现在这句话具体了哪些，又漏了哪些，就是你真正学到的东西。

名录来源：本文综合 CrossRef（Patterns、ACM 期刊论文）检索，2026-09-29；arXiv cs.DL 当日限流未及检索。