claude.dev 解读
EngineeringAddy Osmani2026-11-16约 10 分钟阅读原文 ↗

How the Claude Code team thinks about verification

扩大代理委托,靠的是有证据且自身可信的验证闭环。

主张
6
审视
7
遗漏
3
  1. 01文章把代理可靠性的核心放在验证闭环:实际运行改动,用可执行检查发现故障,再把失败反馈转化为修复与规则。
  2. 02验证层本身也需要验证,包括隔离判据、用历史事故检验查错能力、控制误报,以及清理失效规则。
怎么读这篇
作者主张 · Addy Osmani我们的审视
01

有证据才能扩大委托

扩大委托规模,依赖能够提供证据的反馈闭环。

机制拆解

作者的逻辑是:代理产出后,如果仍需人逐项检查,人工验收就会限制并行规模;让代理运行检查、读取失败证据并修复,才能减少这部分负担。原文的具体实验来自结构化文件生成:独立 grader 按 rubric 检查,任务成功表现最多提高 10 个点。这支持为任务提供明确判据,但不能直接推导所有代码任务都有相同收益。测试生成后可以作为软件反复执行,使重复验证不必每次都依靠模型阅读和判断。

“having a separate grader check Claude’s work against a rubric” ¶3

厂商视角

团队自身的使用经验贯穿全文,包括约九成代码由 Claude 编写和审查、验证后能够扩大并行规模。这些说明了作者的实践背景,但没有提供足够材料来区分模型能力、任务选择、内部工具和人工投入各自的贡献。

自己验证先在单任务上确认收益,再评估并行扩展,避免把团队规模描述当成本地效果保证。
02

端到端让完成可判定

端到端验证的价值,是把完成标准落到真实用户流程及可定位的失败证据。

机制拆解

单元测试通过仍可能伴随功能损坏,因为局部断言未必覆盖完整任务。原文配图强调的差别是:只有超时信息,很难定位故障;步骤轨迹、截图及失败描述,能指出支付表单未加载导致按钮不可用。作者因此建议让代理实际启动、操作并检查系统,再用 verify 技能固化这些步骤。这个技能应成为快速、可靠的冒烟检查入口;功能地图则提供路径、操作方式和预期结果,帮助代理判断是否真正完成。

“they are difficult to fool” ¶11

可复现性

端到端检查的实际价值取决于能否发现目标故障,而非检查名称或是否产生截图。属性测试与差分测试同样依赖属性、输入分布和允许差异的质量。

自己验证在隔离样例中分别植入流程中断、边界输入错误和未获批准的行为变化,确认相应检查稳定失败、修复后稳定通过;同时确认正常样例不会误报。对差分发现逐项判断是新缺陷、允许变化还是旧系统已有问题。
03

用独立参照检验实现

属性测试与差分测试,为验证提供不同于实现过程的参照。

机制拆解

属性测试先声明不可破坏的关系,再生成输入尝试推翻它,例如编解码往返、不变量、幂等性和优化前后的等价性。作者强调,这能触及实现者容易遗漏的边界。差分测试则让新旧系统处理相同输入,在规范已偏离生产行为时尤其有用;比较前应归一化无关差异,并列出允许改变的行为。推断:两者可以互补,但都需要人工确认参照是否正确;旧系统的缺陷不能仅因被新系统复现就视为正确。

“edge cases that aren’t created with the same bias” ¶22

这一点暂无对应的审视。

04

按变更检查,按失败升级

验证流水线应按变更选择检查,并让失败有明确的升级边界。

机制拆解

团队把可靠性知识写成带有 diff 触发条件、检查方法和事故出处的清单,只执行与当前改动匹配的条目。这样,历史经验可以被按需调用,而不必每次重跑全部审查。便宜的测试、构建和 lint 在共享审查之前完成;检查持续失败,修复三轮后转交人工。代码负责人还要把检查调到能识别自己关心的问题,并在要求人工介入时说明原因。速度、稳定性和失败解释共同决定检查能否持续被使用。

“checks only the items whose trigger matches” ¶34

遗漏

门禁检查会话是否出现审查或验证调用,不能单凭这一信号证明检查成功或覆盖充分。文章还允许连续阻断后的放行,并描述了无法定位根因时删除 flaky 测试的做法,却没有量化这些出口造成的验证缺口。

自己验证先在观察模式回放失败运行,检查是否会出现调用过但未通过、验证后内容又变化、绕过后缺少复核等情况。若评估删除不稳定测试,应检查删除理由、失去的覆盖及替代验证证据,并单独统计例外放行结果。
05

改动不能改写验收判据

验收判据必须处于被验收改动的控制范围之外。

机制拆解

原文让 Code Review 从基线或默认分支读取 REVIEW.md,避免当前改动同时修改审查标准。审查结果也只对被审查的提交有效,后续推送不能沿用旧提交的通过结论。推断:这里需要保护的是已有验收依据的可信性,同时仍允许负责人提出检查改进,并对改进本身单独审核。新增门禁先用 observe 模式记录潜在拦截,再评估误报,体现了对验证工具自身可靠性的要求。

“the rules that gate changes are on a branch that the change can't modify.” ¶37

遗漏

从基线分支读取规则保护了审查依据,但全文没有展开如何防止代理修改执行环境、替换检查入口或提交与审查对象不一致的产物。推断:规则文件的来源隔离只是可信验证的一部分。

自己验证在隔离环境中尝试修改规则、检查入口和被验收产物,确认验证实际读取了预期基线、执行了预期检查,且结果绑定到最终版本;记录哪些约束由运行环境强制保证,哪些仍依赖代理遵守文字规则。
06

用事故校准,让漏检成规

审查器应在真实事故与稳定改动上接受评测,并把漏检转化为经过筛选的规则。

机制拆解

团队重建历史审查时的仓库,用明确答案核对是否发现目标缺陷,并用已合并且稳定的改动作对照,防止靠多报问题得分;调优集与固定测试集分开。还要分别测原始发现、验证后发现和最终审查的召回,定位缺陷在哪一步丢失。规则提炼也有门槛:重复出现、能从 diff 识别,并经过反驳与人工审核。作者因此更重视调好主审查器、让后续轮次继承已有证据,以及定期清理规则,而非持续增加审查器和检查数量。

“Their tuning set is split out from the fixed test set” ¶45

这一点暂无对应的审视。

作者没有直接谈到这一点。

数字口径

最多提高 10 个点来自结构化文件生成的内部测试,是最佳增益描述;原文没有给出样本规模、基线、具体任务分布、rubric 或波动范围,也没有将其表述为通用代码质量的改善比例。

自己验证为自己的任务固定输入、评分规则和调用配置,分别运行普通提示循环与独立 grader 流程,重复测量任务成功率及成本。保留失败样例,并检查 grader 是否只提高格式合规,而没有改善内容正确性。

作者没有直接谈到这一点。

可复现性

作者主张优先调好主审查器,并让多轮审查继承历史上下文;这是可检验的流程选择,原文没有提供其与叠加审查器比较的完整实验结果。

自己验证用同一组历史缺陷和稳定改动,对比调优后的单审查器与叠加审查器,并记录真实缺陷命中、误报、严重性判断和成本;分别检查原始发现、核验后发现及最终报告,定位过滤环节是否丢失正确发现。

作者没有直接谈到这一点。

遗漏

正文没有比较 model 或 effort 档位。

自己验证若要调整 effort,应固定验证任务做本地对照,不能从本文直接推导档位选择。
01

机制聚焦

验证如何形成闭环

实际运行产生失败证据,修复与规则吸收反馈,验证层也要接受评测和清理。

  1. 01隔离验收判据从改动无法修改的基线分支读取审查规则
  2. 02实际运行改动沿真实用户流程操作,检查预期结果
  3. 03定位失败证据用失败步骤、截图和轨迹说明哪里出错
  4. 04修复并复验根据失败反馈修复,持续失败则交由人工
  5. 05把漏检变成规则筛选事故与审查中的共性,经反证和人工审批
  6. 06评测并清理用历史事故和稳定改动评测,定期清理规则
依据原文 ¶54 ↗
02

核心观点

01

有证据才能扩大委托

扩大委托规模,依赖能够提供证据的反馈闭环。

机制拆解

作者的逻辑是:代理产出后,如果仍需人逐项检查,人工验收就会限制并行规模;让代理运行检查、读取失败证据并修复,才能减少这部分负担。原文的具体实验来自结构化文件生成:独立 grader 按 rubric 检查,任务成功表现最多提高 10 个点。这支持为任务提供明确判据,但不能直接推导所有代码任务都有相同收益。测试生成后可以作为软件反复执行,使重复验证不必每次都依靠模型阅读和判断。

having a separate grader check Claude’s work against a rubric¶3 ↗

02

端到端让完成可判定

端到端验证的价值,是把完成标准落到真实用户流程及可定位的失败证据。

机制拆解

单元测试通过仍可能伴随功能损坏,因为局部断言未必覆盖完整任务。原文配图强调的差别是:只有超时信息,很难定位故障;步骤轨迹、截图及失败描述,能指出支付表单未加载导致按钮不可用。作者因此建议让代理实际启动、操作并检查系统,再用 verify 技能固化这些步骤。这个技能应成为快速、可靠的冒烟检查入口;功能地图则提供路径、操作方式和预期结果,帮助代理判断是否真正完成。

they are difficult to fool¶11 ↗

03

用独立参照检验实现

属性测试与差分测试,为验证提供不同于实现过程的参照。

机制拆解

属性测试先声明不可破坏的关系,再生成输入尝试推翻它,例如编解码往返、不变量、幂等性和优化前后的等价性。作者强调,这能触及实现者容易遗漏的边界。差分测试则让新旧系统处理相同输入,在规范已偏离生产行为时尤其有用;比较前应归一化无关差异,并列出允许改变的行为。推断:两者可以互补,但都需要人工确认参照是否正确;旧系统的缺陷不能仅因被新系统复现就视为正确。

edge cases that aren’t created with the same bias¶22 ↗

04

按变更检查,按失败升级

验证流水线应按变更选择检查,并让失败有明确的升级边界。

机制拆解

团队把可靠性知识写成带有 diff 触发条件、检查方法和事故出处的清单,只执行与当前改动匹配的条目。这样,历史经验可以被按需调用,而不必每次重跑全部审查。便宜的测试、构建和 lint 在共享审查之前完成;检查持续失败,修复三轮后转交人工。代码负责人还要把检查调到能识别自己关心的问题,并在要求人工介入时说明原因。速度、稳定性和失败解释共同决定检查能否持续被使用。

checks only the items whose trigger matches¶34 ↗

05

改动不能改写验收判据

验收判据必须处于被验收改动的控制范围之外。

机制拆解

原文让 Code Review 从基线或默认分支读取 REVIEW.md,避免当前改动同时修改审查标准。审查结果也只对被审查的提交有效,后续推送不能沿用旧提交的通过结论。推断:这里需要保护的是已有验收依据的可信性,同时仍允许负责人提出检查改进,并对改进本身单独审核。新增门禁先用 observe 模式记录潜在拦截,再评估误报,体现了对验证工具自身可靠性的要求。

the rules that gate changes are on a branch that the change can't modify.¶37 ↗

06

用事故校准,让漏检成规

审查器应在真实事故与稳定改动上接受评测,并把漏检转化为经过筛选的规则。

机制拆解

团队重建历史审查时的仓库,用明确答案核对是否发现目标缺陷,并用已合并且稳定的改动作对照,防止靠多报问题得分;调优集与固定测试集分开。还要分别测原始发现、验证后发现和最终审查的召回,定位缺陷在哪一步丢失。规则提炼也有门槛:重复出现、能从 diff 识别,并经过反驳与人工审核。作者因此更重视调好主审查器、让后续轮次继承已有证据,以及定期清理规则,而非持续增加审查器和检查数量。

Their tuning set is split out from the fixed test set¶45 ↗

03

批判性审视

厂商视角

团队自身的使用经验贯穿全文,包括约九成代码由 Claude 编写和审查、验证后能够扩大并行规模。这些说明了作者的实践背景,但没有提供足够材料来区分模型能力、任务选择、内部工具和人工投入各自的贡献。

自己验证先在单任务上确认收益,再评估并行扩展,避免把团队规模描述当成本地效果保证。
数字口径

最多提高 10 个点来自结构化文件生成的内部测试,是最佳增益描述;原文没有给出样本规模、基线、具体任务分布、rubric 或波动范围,也没有将其表述为通用代码质量的改善比例。

自己验证为自己的任务固定输入、评分规则和调用配置,分别运行普通提示循环与独立 grader 流程,重复测量任务成功率及成本。保留失败样例,并检查 grader 是否只提高格式合规,而没有改善内容正确性。
可复现性

端到端检查的实际价值取决于能否发现目标故障,而非检查名称或是否产生截图。属性测试与差分测试同样依赖属性、输入分布和允许差异的质量。

自己验证在隔离样例中分别植入流程中断、边界输入错误和未获批准的行为变化,确认相应检查稳定失败、修复后稳定通过;同时确认正常样例不会误报。对差分发现逐项判断是新缺陷、允许变化还是旧系统已有问题。
可复现性

作者主张优先调好主审查器,并让多轮审查继承历史上下文;这是可检验的流程选择,原文没有提供其与叠加审查器比较的完整实验结果。

自己验证用同一组历史缺陷和稳定改动,对比调优后的单审查器与叠加审查器,并记录真实缺陷命中、误报、严重性判断和成本;分别检查原始发现、核验后发现及最终报告,定位过滤环节是否丢失正确发现。
遗漏

门禁检查会话是否出现审查或验证调用,不能单凭这一信号证明检查成功或覆盖充分。文章还允许连续阻断后的放行,并描述了无法定位根因时删除 flaky 测试的做法,却没有量化这些出口造成的验证缺口。

自己验证先在观察模式回放失败运行,检查是否会出现调用过但未通过、验证后内容又变化、绕过后缺少复核等情况。若评估删除不稳定测试,应检查删除理由、失去的覆盖及替代验证证据,并单独统计例外放行结果。
遗漏

从基线分支读取规则保护了审查依据,但全文没有展开如何防止代理修改执行环境、替换检查入口或提交与审查对象不一致的产物。推断:规则文件的来源隔离只是可信验证的一部分。

自己验证在隔离环境中尝试修改规则、检查入口和被验收产物,确认验证实际读取了预期基线、执行了预期检查,且结果绑定到最终版本;记录哪些约束由运行环境强制保证,哪些仍依赖代理遵守文字规则。
遗漏

正文没有比较 model 或 effort 档位。

自己验证若要调整 effort,应固定验证任务做本地对照,不能从本文直接推导档位选择。
风格