厂商视角作者站在厂商一侧:演示仓库 tidepool 是自造的小型 Node API,三个问题都是边界清楚、靠测试就能验证的小问题,四个会话也全部成功,没有展示失败或跑偏的会话。文中 bonus credit 的领取截止日(October 7)还带有促销的紧迫感。
自己验证拿一个自己的真实仓库,选一个已知 flaky、但根因不明显的问题,用同样的工单式 prompt 跑一次,记录是否找到根因、是否只改测试不改代码、总结里有没有如实报告残留问题。
数字口径耗时数字的口径不统一。正文说三个会话分别运行了 61、65、72 秒,87 秒指的是从第一个会话启动到全部完成;图注里写的则是 65、62、87 秒。而且其中三分之一到一半多的时间花在从 prompt 重建仓库上,VM 冷启动和 setup 缓存未命中的时间都没有单独给出。
自己验证自己计时:分别记录 VM 就绪、setup 完成、分支可审这三个时刻;setup script 改动之后的首个会话(缓存要重建)和缓存命中后的会话各测一次。
数字口径文章说机器不另收费,但没有给出任何一个演示会话实际消耗了多少 token 或多少额度。并行五倍消耗只是一个比例,读者无法据此估算真实成本;logger 会话为别人的 bug 做重复诊断,也耗掉了额度。
自己验证跑一个云会话之前和之后,各在 /usage 里记一次读数;再用同一任务在本地跑一次做对照,比较两者的额度消耗。
可复现性竞态修复的证据可以复现,但失败率前后对不上:原文开头说大约每四次失败一次,logger 会话重跑八次却失败了五次。推断:这可能和 logger 改动后请求路径的时序有关。文中没有解释,40 次 0 失败的样本量也有限。
自己验证在本地复现 TtlCache.get 的竞态,在原始代码和加了 logger 改动的代码上各跑足够多次,统计失败率;修复后按文中建议跑 200 次,看是否稳定为 0。
遗漏数据合规一笔带过:会话 transcript 由 Anthropic 存储,保留多久取决于套餐和模型改进设置;网络开到 None 时,数据仍可能经模型 API 流出。只提到开启 Zero Data Retention 的组织会关闭云会话。
遗漏适用面偏向托管在 GitHub 上的代码仓库:GitLab 和 Bitbucket 仓库只能上传 bundle,推不回去;VM 只有大约 4 vCPUs、16 GB 内存、30 GB 磁盘。