有几件事，到 2026 年 9 月还没人真的解决。

长链条：多花算力买不到可靠性

这一条我排在最前面，因为它最反直觉。

主流做法是：让模型多想一会儿，多生成一串推理步骤，题目越难就想得越久。这个做法在中等长度的题上确实有用。2025 年 3 月那篇长思维链综述（arXiv:2503.09567）把长思维链的三个特征归纳成深、广、能回头修，里面也承认存在「想过头」的反作用。

但 2026 年 4 月 arXiv 上有个 LongCoT 基准（arXiv:2604.14140）专门去测链条特别长的那种任务。它收了 2500 道专家设计的题，覆盖化学、数学、计算机、国际象棋和逻辑，每道题需要走一条由几十到十几万推理词元串起来的依赖链——每一步单独看前沿模型都做得到。整条链走完才算对。

结果是：最好的模型不到 10%。GPT 5.2 是 9.8%，Gemini 3 Pro 是 6.1%。

我读到这个数字的第一反应不是「他们好弱」，而是：这些模型在单步上的能力已经溢出了，瓶颈整个卡在「几千步不出错」这件事上。截至 2026 年 9 月，这是单篇基准的结果，尚未被广泛复现，但我不认为它偶然。一个基准刚出就被大量刷通常需要几个月。

智能体：演示和日常之间那道沟

2024 年 6 月的 WebCanvas 基准（arXiv:2406.12373）用的是每天都在变的真实网站，不给你冻结的页面。最好的智能体任务成功率 23.1%。

2025 年 5 月另一篇工作（arXiv:2505.21964）给了一个更反直觉的数字：给智能体的知识有 90% 正确的时候，实际执行成功只有 41%。

这两个数字放一起说的是同一件事：智能体的问题已经不太是「它知不知道」，而是「它知道了能不能在现实里连贯地做完」。这两个结论都只在各自基准上成立，WebCanvas 那个数字来自 542 个任务的一次评测。

我做的一个判断，可能有点冒犯：智能体相关的演示视频，剪掉的全是失败的那九成。你看到的那三十秒，是几十次尝试里最好的那次。

效率那条路的尽头在哪儿

我不太确定，所以放在这里让读者自己判断。

把模型做小确实有效果，量化到 4 位甚至 2 位都能做到性能损失很小（2026 年 1 月量化综述，doi:10.2139/ssrn.7518402）。但在机器人那边，同样的逻辑不太成立。2026 年 6 月那篇视觉-语言-动作模型综述（doi:10.20944/preprints202606.0400.v1）给出的规模收益指数大约在 0.15 到 0.25——参数翻一倍，好处只涨一点。

我倾向于认为，模型规模那条曲线在语言任务上还远远没走完，但在需要跟真实世界打交道的任务上，可能很早就撞墙了。机器人学一样东西的样本数比人差 100 到 1000 倍——这个差距不是算力能直接补的，它卡在「你得真的去试一千次」这件事上。

评测本身可能就不成立

这一节是我自己最想让人警惕的。

2023 年《Patterns》上 Kapoor 和 Narayanan 写过一篇讲信息泄漏的（doi:10.1016/j.patter.2023.100804）。核心问题很简单：当训练数据和测试数据长得太像，测试分数就只是在测「模型见过没有」，而不是测「模型会不会」。

这个问题在 2026 年比 2023 年更严重，因为现在的数据里很大一部分就是从互联网上抓的，而互联网的角角落落都有人写过 AI 相关的东西。这条批评本身也不是新结论，是 2023 年的判断，尚未被广泛解决。

所以我现在的读法是：看到一个漂亮的分数，先问三件事——测试题是什么时候出的，出题的人有没有可能看过训练集，有没有更笨但更没被污染的基线在下面垫着。这三问答不上来，分数再高我也不太当真。

我认为走不通和被高估的

到 2026 年 9 月，我有两个明确的怀疑，说出来你可以不同意。

第一个，靠「让它多想」来解决长链条可靠性，这条路我认为走不通。理由就是上面 LongCoT 那组数字。多想会同时带来更多走错岔路的机会，目前没有证据表明这两者之间存在一个明显划算的交换关系。真正的解法看起来得是别的东西——比如让每一步都能被外部检查，而不是让模型自己检查自己。

第二个，安全评测分数被高估了。2026 年 3 月那个医学虚拟患者的实验（doi:10.32388/2q3k8u）显示，攻击明着塞进提问里几乎不掉分，藏进模型要读的外部材料里指标掉一半。被公布的数字大多测的是前者。宣称的「挡住了」，很可能只是「没被问那一句」。

还有一件事我真心不知道答案：模型的「理解」到底是什么。那个内部机制综述（doi:10.20944/preprints202607.1441.v1）说得很客气，机制存在但受词频条件触发、分散、只被部分理解。我读到这儿只能承认，我不知道它到底在算还是在查表。这个问题到 2026 年 9 月为止，业内的诚实答案是：没有共识。

延伸阅读

• LongCoT: Benchmarking Long-Horizon Chain-of-Thought Reasoning（Sumeet Ramesh Motwani; Daniel Nichols; Charles London et al.，2026，arXiv）—— 2500 道需要走几十万推理词元依赖链的题，最好的模型不到 10%，把瓶颈指在了「长链条不出错」而不是单步能力上。单篇结果，尚未被广泛复现。arXiv: 2604.14140
• Leakage and the reproducibility crisis in machine-learning-based science（Sayash Kapoor; Arvind Narayanan，2023，Patterns）—— 讲清楚了训练集和测试集长得太像时，分数测的其实不是能力。这是一篇三年前的判断，到 2026 年 9 月这个问题没有消失。doi: 10.1016/j.patter.2023.100804
• WebCanvas: Benchmarking Web Agents in Online Environments（Yichen Pan; Dehan Kong; Sida Zhou et al.，2024，arXiv）—— 在天天在变的真实网站上测智能体，最好的任务成功率 23.1%，这个数字比演示视频里低得多。arXiv: 2406.12373

动手试试

把这一层读到的几个百分比列一张表，抄在纸上：9.8%、23.1%、41%、0.489、0.927。然后挨个问自己：这个数字是在什么条件下测的？换一批题还成立吗？对照组是什么？

我做完这件事之后的收获是，看到任何一个 AI 相关的百分比，第一反应从「哇」变成了「在哪儿测的」。这个反应速度比任何结论都值钱。

下一站

这一层的内容到这里结束。最后一页我讲一件更实际的事：给你自己的一套方法，怎么真的读懂一篇 AI 论文，而不是被摘要骗过去。

名录来源：本文综合 arXiv cs.CL、cs.AI、cs.LG 与 CrossRef 检索，2026-09-29。