厂商视角这篇文章同时在推广 Code Review for Claude Code(Team/Enterprise 已 GA)和 /code-review、/security-review。所有效果数据都来自 Anthropic 自家仓库,团队、工具和模型都是自己的,没有外部对照。
自己验证找第三方团队采用 Code Review 前后的回滚率和审查轮次数据。没有的话,就在自己的一个仓库或流水线上做前后对照,不要直接套用文中的比例。
数字口径「合并 PR 增加到两倍以上,回滚比例降了 40% 以上」用的是比例口径:分母在变大,PR 也在变小,这两点本身就会拉低回滚占比。文中没给回滚绝对数,也没给事故率的变化,而事故率恰恰是它自己定的护栏指标。
自己验证看 Anthropic 有没有公开回滚绝对数和事故率时间序列。推断:如果 PR 平均规模同期明显变小,单个 PR 的回滚概率自然会降,需要按 PR 规模分层再比较。
数字口径16% 到 54% 衡量的是「拿到实质审查意见的 PR 占比」,不是准确率或召回率。意见更多不等于真 bug 抓得更多;文中自己也说过,多报非 bug 就能轻易提高命中。
自己验证用原文给的噪声分类法核对:意见被作者修了、被判为错误、被认为是故意的、被认为无所谓,各占多少;再在已知干净的 PR 上算有害误报率。文中没公布这几项数字。
数字口径monorepo 每日变更从约 2,500 到超过 30,000,这组数字说的是另一个仓库,和 Claude Code 仓库的回滚数据不是同一口径,不能拼在一起推出因果。
自己验证读原文时把 monorepo 的数据和 Claude Code 仓库的数据分开记,只拿后者评估审查流程的效果。
可复现性有几项可以在自己的环境里低成本复现:给代理可运行的验证、要求它出示输出;新上下文子代理审 diff;轮次上限加只审增量;用 git blame 统计审查意见里旧问题的占比(原文约 59%)。
可复现性「验证让结果好两到三倍」是 Boris Cherny 的个人估计,没有说明怎么测的,不能当作实测效应量引用。
自己验证在自己的任务上做 A/B:同一批任务,一组要求出示可运行验证的输出,一组只让它声称完成,用外部判分器比较通过率。
遗漏文章没给成本数据:多代理找 bug、投票、Deep 模式、每夜全库扫描各要多少 token 和费用、耗时多长,都没提。风险分类器的误判率也没给。
自己验证在 Code Review 的管理设置或账单里比较 Quick、Standard、Deep 三档的单 PR 成本;如果自己搭类似流程,每次审查都把 token 记进日志。
遗漏零人工合并的安全边界还没有闭环。作者承认还没有「回滚或事故数一上升就自动收紧审批」的熔断器;知识传承靠按需让 Claude 写 explainer,也没有正式流程。
自己验证推断:在自己的流水线里,先给每类自动放行的产出定一个可观测的护栏指标(比如被人工退回的次数),确认能检测到劣化之后,再扩大自动放行的范围。