图解 · AI Engineer 大会对谈(2026-10-28)× 宝玉解读(2026-11-05)

一天合并三万次:人不再逐行读代码,改为审阅 AI 交来的证据

Anthropic 的做法分三步:Claude 先像真实用户一样把功能用一遍并自动修正,审查时参照写成文件的团队品味,最后人只看证据(录屏、截图、测试结果)决定能否合并。省掉的是读代码的时间,验证一步没少。

2,500 → 30,000Anthropic 日均合并的代码变更,2026 年 5 月 → 近期
≈3,000 PRClaude.ai 网页版重做在短时间内合并,性能约提升到 3 倍
+59% · 3/10CircleCI 2800 万次 CI 流程:产出涨 59%,每 10 次合并到生产 3 次失败
76%用 AI 写代码的开发者说产出快到来不及验证(Sonar 调查)
2–3×给 AI 一个检验自己对不对的办法,产出质量的提升幅度(Addy)
00 · 方法论的转变

审查对象变了:从读代码,变成看证据

写代码已经不是难点,瓶颈转到了验证。过去 AI 开的 PR 排队等人逐行读;现在 Claude 先自己试用、自己修,把证据交出来,人只看证据。

← 图较宽,可左右滑动 →
过去 人逐行读代码 审查对象:diff 人的时间:读代码 AI 开的 PR 越来越多 排队等人看 人逐行读 diff 读不过来,成了整条线的瓶颈 合并 现状数据 76% 开发者:快到来不及验证 CircleCI:产出 +59%, 合并到生产 3/10 失败 现在 · ANTHROPIC 人审阅证据 审查对象:证据 人的时间:建设验证 (测试、规格、品味文件) AI 开的 PR Claude 实际试用 像真实用户一样用一遍 发现问题自动修正 ↺ 证据包 录屏 手机 桌面 测试 人看证据 看录屏比读代码快 合并 日均约 3 万次
过去 人逐行读代码 现在 · ANTHROPIC 人审阅证据 AI 开的 PR 排队等人看 人逐行读 diff 读不过来,成了瓶颈 合并 现状数据 76% 开发者: 快到来不及验证 CircleCI:产出 +59%, 合并到生产 3/10 失败 人的时间:读代码 AI 开的 PR Claude 实际试用 像真实用户一样用一遍 发现问题自动修正 ↺ 证据包 录屏 手机 桌面 测试 人看证据 看录屏比读代码快 合并 日均约 3 万次 人的时间:建设验证 (测试、规格、品味文件) + 看证据
图 0 新旧审查方式对比。Addy 的说法:过去让人对代码有信心的东西,是好的测试、性能基准和需求规格,现在都能让 AI 便宜又快地生成,人再去修改完善;工程师最该花时间的就是这些检查(视频 3:51)。注意人没有离开,只是从读代码挪到了建设验证和看证据。
01 · 核心流程

三步审查:AI 首审并自修 → 参照团队品味 → 人审证据

泳道表示由谁负责。实线是对谈里明确讲到的流转,灰色虚线是为闭合流程补画的环节,青色虚线是 Addy 说的目标方向。可以跟一个 PR 逐步走一遍,也可以切到熄灯形态,看人从哪里退出。

形态
演示
示例走查点“跟一个 PR 走一遍”自动播放,或用“下一步”手动推进。走查里“发现功能缺口”是假设的情境,用来演示修正循环。
← 图较宽,可左右滑动 →
人 意图 · 裁决 团队知识 品味的载体 Claude 编写与首审 验证设施 测试与 Hooks 熄灯形态:人退到上游,只定意图 遇到最特殊的例外才被叫进来 委派任务 提交 审查时参考 调用 检查结果 全部通过 发现问题 每次编辑都触发 复审 ↺ 修正循环 提交证据 确认 批准合并 证据不足,打回修正 (推断) ← 目标:证据够硬时 跳过人工,自动合并 ← 证据可信, 自动合并 提出意图 · 发起任务 仍是这次改动的负责人 ADDY 第三步 人审阅证据 看录屏和截图,不逐行读代码 合并判定 信心充分 或风险已尽量降低 ADDY 第二步 把团队品味写成文件 共享的 CLAUDE.md · AGENTS.md 编写代码 · 开 PR PR 标注为 AI 编写 ADDY 第一步 Claude 首轮审查 像真实用户一样实际用一遍 能建立信心的检查都跑 自动修正 PR 交出证据包 点击录屏 手机 桌面 测试 合并进主干 日均约 3 万次 验证工具箱 端到端测试 浏览器实测 运行工具 代码规范检查 属性测试 视觉验证 Anthropic Code Review 产品 Hooks 任何编辑后自动运行 研读本次 diff 原文明确的流转 补画的闭环(推断) Addy 说的目标方向 AI 审查核心 人工检查点 工具集合
复审 全部通过 目标: 自动 合并 提出意图 · 发起任务 仍是这次改动的负责人 编写代码 · 开 PR PR 标注为 AI 编写 ADDY 第一步 Claude 首轮审查 像真实用户一样实际用一遍 端到端 浏览器 跑工具 规范检查 属性测试 视觉验证 ADDY 第二步 品味文件 CLAUDE.md 自动修正 发现问题时 Hooks 研读 diff 交出证据包 录屏 手机 桌面 测试 ADDY 第三步 人审阅证据 不逐行读代码 合并判定 信心充分,或风险已尽量降低 合并进主干 日均约 3 万次 原文明确 打回(推断) 目标方向:证据可信时自动合并
图 1 Anthropic 的代码审查流程(亮灯形态)。人只出现在两端:开头给意图,结尾看证据、做合并判定;中间的编写、首审、修正循环由 Claude 和自动化设施完成。
  1. 01

    提出意图 · 发起任务

    人决定做什么,把活委派给 Claude。责任不随之转移:Addy 说就算是他让 Claude 去干的活,出了问题还是他负责、他去修。

    视频 14:41 快问快答
  2. 02

    编写代码 · 开 PR

    两人都主张在 PR 上标注由 AI 编写:知道是 AI 写的,就能决定额外加哪些约束和检查;对金融客户还关系到审计。Manish 认为至少未来 6–9 个月应该标。

    视频 14:41
  3. 03

    Claude 首轮审查

    第一步

    关键是让 Claude 能像真实用户一样实际试用:跑端到端任务、在浏览器里打开检查、运行工具、做代码规范检查,凡能建立信心的检查都做。Anthropic 自己也在用它的代码审查产品,目标是把代码审查尽可能自动化。

    视频 5:38
  4. 04

    把团队品味写成文件

    第二步

    大家都在谈品味和判断力,就把团队认定的最佳实践和品味写进共享的 CLAUDE.md、AGENTS.md 这类写给 AI 看的文件,智能体审代码时去查阅。

    视频 5:38
  5. 05

    修正循环:Hooks 驱动

    发现 bug 或功能缺口时,Hooks 会在任何编辑后自动运行,研读这次的 diff,形成一个尽快把 PR 改对的循环,再回到审查。

    视频 5:38
  6. 06

    交出证据包

    做浏览器里的界面,就要确认在浏览器里测过,最好附一段它点来点去的录屏;在意手机或桌面体验,就给这些设备上的截图或录屏。目标是让智能体提供尽可能多的验证证据。

    视频 5:38
  7. 07

    人审阅证据

    第三步

    人负责检查智能体给出的证据,而不是逐行读代码。看完录屏就有信心说这个能用。宝玉的补充:看录屏比读几百行代码快得多,但证据仍要自己看。

    视频 5:38 · 帖子
  8. 08

    合并判定

    含推断

    AI 开的 PR 何时能合并?Addy 的回答:有充分信心不会出问题,或已经尽可能把风险降下来。长期目标是验证足够可信,让改动自动合并。“证据不足打回修正”是本页为闭合流程补画的,对谈里没有明说。

    视频 9:20 · 14:41
02 · 验证要具体

“验证一下”到底指什么:Anthropic 最依赖的三类测试

Addy 认为模型质量已经不错(他举了 Opus 5.5),下一截提升主要来自验证,而且要讲具体:跟人说“验证一下”,对方下一句就会问“验证指什么”。

端到端测试

从头到尾模拟用户操作的自动化测试,验证整条使用路径能走通。

对应图 1 里“像真实用户一样实际用一遍”。

属性测试

不写一个个具体例子,而是写一条必须成立的规则,让程序自动生成大量随机输入去验证。

例:排序后列表长度不变。

视觉验证测试

通过截图对比检查界面有没有变样,覆盖单元测试看不到的显示问题。

与证据包里的多端截图同源。

视频 9:20。目标是有足够的信心让这些改动自动合并。

03 · 多层零信任验证

每个循环都过三道关,每一道专抓一类问题

这是 Manish 从 Sonar 角度给的框架:零信任,在每个环节都验证。最下面一行是本页做的对照,标出每一层在图 1 的 Anthropic 流程里由哪个环节承担。

← 图较宽,可左右滑动 →
在每一个循环里都把下面三层跑一遍 智能体循环(写代码时) CI 验证循环 代码维护 AI 产出的变更 代码 · 依赖 · PR 可以信任的产出 进入下一循环 / 上线 通过 通过 通过 第一层 确定性扫描 规则固定,结果可复现 第二层 智能体审查 查规则扫不出来的问题 第三层 供应链安全 检查第三方依赖包 拦下:SQL 注入 · 缓冲区溢出 常见 bug · 安全问题 拦下:逻辑错误 代码偏离原本意图 拦下:已知 CVE · 恶意代码 恶意依赖包 本页对照 → 图 1:代码规范检查 · 运行工具 图 1:Claude 首轮审查 对谈中 Addy 未提及
图 2 三层验证(Sonar 的框架)。每一层专门针对一类问题调优,不指望某一层包揽全部。对照下来,Addy 描述的流程没有提到供应链这一层。宝玉提醒:Sonar 本身是卖代码检查工具的,听这部分时心里有个数。
04 · 软件工厂

从亮灯到熄灯:自主权要靠验证一步步挣

Addy 对软件工厂的定义是“把循环规模化”:让 AI 一遍遍地规划、编写、检查、上线。两种工厂的区别在于人站在哪里。

← 图较宽,可左右滑动 →
亮灯工厂 智能体干活,人在环里把关 规划 编写 检查 上线 人在环内 用判断和品味把关 AI 给出的验证证据越多、越可信 越能往熄灯方向走:自主权要一步步挣 熄灯工厂 像机器人汽车厂一样一直运转 定范围 编写 检查 上线 全自动运转 环内无人 人在上游 只给意图 极少数例外才叫人 亮灯 熄灯 2027 年底多数团队(Addy 预测) 亮灯为主,带一些熄灯角落 Anthropic 自己(Manish 的猜测) 今年或明年就会熄灯
图 3 两种软件工厂。多数团队处在两者之间,摸索怎样在信得过的前提下一步步提高自动化程度。Sonar 调查:目前 5% 的公司在用软件工厂,计划用的会到 34%,金融业 39%。
05 · 治理护栏

智能体越多,越要先管得住

Addy 接触过的很多公司几个月前都在担心同一件事:放手让团队用智能体,冒出成百上千个,谁也不知道它们在碰哪些系统、读哪些数据,是否在往生产环境部署。

控制 · 权限 · 沙箱

Addy 总结的企业三件大事:怎么控制、怎么分配权限、怎么用沙箱确保智能体不越界。

身份与遥测

给智能体身份,记录它实际做了什么,才谈得上追踪和管控。

引导轨道(guide rails)

Sonar 的说法:不只是撞上护栏才拦,而是引导智能体沿既定路线走、不出沙箱。

标注与问责

PR 标注 AI 编写,便于加约束和审计。责任归属不变:谁发起,出了问题谁修。

视频 13:19 · 14:41

06 · 团队自检

你的团队走到哪一步,离放心自动合并还差什么

Addy 给技术负责人的建议是:推着团队想清楚验证具体指什么,现在的测试做到哪一步,离 AI 自己判断可以合并、你也放心还差什么(视频 14:41)。下面 8 项都来自对谈,勾上已经具备的。

你的位置 · 0/8
以人工逐行审查为主

先从最便宜的一步开始:要求 AI 交活时附上证据,从最容易出问题的界面做起(宝玉的建议)。

亮灯熄灯
还差的

    分档规则是本页根据对谈提炼的,不是 Addy 或 Manish 的原话;即使 8 项全具备,合并的标准仍是“有充分信心,或风险已尽量降低”。

    07 · 怎么落地

    不逐行看代码,和不验证是两回事

    对谈结论(Manish 的收尾页)

    写得快 ≠ 上线快写代码已是最快的一环,速度能否保持取决于审查和验证。
    验证一切看清合并了什么,确保没有越出沙箱,再进生产。
    自主权是挣来的在工厂的每个循环里放入独立、自动化的验证,产出才信得过。
    视频 17:40

    宝玉的建议:先补证据,再谈少看

    1. 别急着把 Review 关掉。Anthropic 敢这么做,前提是模型够好(Opus 5.5 这一代)加上验证基础设施已搭好。
    2. 先补上交活附证据这一步:要求 AI 交付时附上证据。
    3. 从最容易出问题的界面开始:让它在浏览器里实际操作一遍,给截图或录屏。
    4. 证据仍要自己看,只是看录屏比读几百行代码快得多。
    5. 三层验证框架可参考,但要记得它出自代码检查工具厂商。
    帖子