厂商视角这是 Anthropic 给自家产品写的成功案例,用的是「大致相当于 Opus 5.5」的内部研究模型,加上还在 beta 的 Claude Tag。外部读者没法用同等配置复现团队层面的结果。
自己验证确认 Claude Tag 是否对你的账号开放、背后跑的是什么模型;在自己机器上用 DevTools 录多次 claude.ai 新开加载,量到「可输入」的时间,看量级是否接近文中 p75 的 0.55 秒(网络环境不同,只能作量级参考)。
数字口径3x 是聚合口径,只给了 p75;四条旅程只公布了三组前后数据,十三项指标的全表和目标值都没给。「每天省下数万用户小时」是估计,作者也承认 p95 还有改进空间。
自己验证关注后续文章有没有公布 p95 和十三项指标全表;自测时对多次加载分别统计 p75 和 p95,看尾部有没有同比例改善。
数字口径「三千多个变更,零事故零回滚」的口径值得推敲。按原文的循环,效果不好时是「关 flag」而不是回滚,所以关 flag 的次数不计入回滚;「面向客户的事故」也没有定义。近两百个 flag 只清理了过半,剩下的就是技术债。
自己验证在你自己的实践里把「关 flag 或开关切回」也算作回滚,重新统计;原文没有披露关 flag 次数,可以留意后续文章或演讲有没有补。
可复现性确定性指令计数加 ratchet,是全文最容易在个人项目里复现的机制。但 Valgrind 在 macOS 上的支持情况需要核实,这是推断。
自己验证在 Linux 容器里,用 valgrind 配合 node --predictable 对同一个函数跑两次,确认 Ir 计数完全一致;然后做一次优化,看墙钟时间是否同向下降,自己走一遍原文的相关性证明。
可复现性用 DevTools begin-frame control 做 120 Hz 确定性帧步进,号称能把「这一帧有没有超出 8.33 ms 预算」变成精确读数。
自己验证用本机的 chrome-headless-shell 对同一个流式页面做帧步进测量,再在真机 Browser pane 上用 rAF 时间戳测一次,比较两边的掉帧位置是否一致。
遗漏文章回避了成本和人力:一百五十个并行线程的 token 花费、三千多个 PR 每个至少一位人工批准的审阅工时、被拒 PR 的比例、参与的工程师人数、Claude 毫秒级影响估计的事后准确度,都没有披露。
遗漏前端性能天然有大量确定性计数可以爬。研究和内容创作类工作缺少这种数,文章没有讨论目标无法计数时这套方法还能不能用。