厂商视角作者代表模型厂商,¶9 称这两个模型的 effort 曲线是「our best yet」,全文也在引导读者多用高档位,而高档会直接带来更多 token 计费。文中没有给出任何关于成本与收益比的讨论。
数字口径通过率只基于每个任务 5 次尝试,1/5 到 5/5 这类差距在小样本下置信区间很宽。脚注还说明 Fable 5.1 关闭了生产安全干预、安全类任务没有联网,因此与公开榜单和发布文章都对不上。示例轨迹来自单次运行,有些用的还是中间档位。
自己验证不要在对外材料里直接引用这些分数。需要引用时注明「厂商内部、每任务 5 次、安全干预关闭」。如果要做定量判断,以公开榜单为准,或自己复跑并扩大样本量。
可复现性Terminal-Bench 3.0 的任务是公开的,文中点名的 html-js-filter、cli-2ph-simplex、mvcc-lsm-compaction 等任务都可以在 Claude Code 里配合 /effort 自己复跑。可以复现的不只是通过率,还有「高档会先复现问题、做随机对照」这类行为差异。
自己验证从原文给出的 terminal-bench v3.0.0 release 页面拉取任务,在隔离环境中分别用 low 和 high 运行,保存会话轨迹,对照文中描述的验证步骤,看这些步骤是否真的出现。
遗漏文章推荐「low 实现、high 验证」,但同时承认 effort 修不了方法错误。这意味着低档实现的方向性错误不能指望靠高档验证来发现,只能依靠中间那一步人工 review。文章没有讨论这一步漏检的代价,也没有说明高档会「替你做更多假设」时,在无人值守场景下怎么约束。
自己验证在自己的循环里故意给一个有歧义的规格,观察 high 档验证是否会指出实现方向偏了,还是只在错误方向上补测试。
遗漏关键证据都在图里(effort 曲线、失败归因图、分领域收益细分),正文没有给出各档位具体的 token 倍数和分领域数值。¶1 说切换 effort 不会打破 prompt cache,但没有解释机制和前提条件。
自己验证去原文页面查看图表并手动抄录数值。缓存问题可以在同一会话中途用 /effort 切换档位,然后观察用量面板或 API 返回的 cache 读写统计是否变化。