厂商视角全文只有定性判断(如 Claude seemed to like calling this tool、outputs worked well),没有成功率、轮次、token 成本等量化证据。作者是 Anthropic 员工,文章本身也在推广 Claude Code,结尾还有产品引导。
自己验证在自己的 Claude Code 会话里,对同一个需求澄清任务分别要求「用纯文本提问」和「用 AskUserQuestion 提问」,记录往返轮次、用户答题时间、选项遗漏次数,各做若干次比较。
数字口径「约二十个工具」「每五轮提醒」「一年内从不会自建上下文到能多层嵌套检索」都是描述性说法,没有基线、没有测量口径。「Opus 4.5 更擅长用子代理」也没有给出评测依据。
自己验证在本机会话中导出当前实际暴露的工具清单和描述长度,自己核对工具数量;子代理能力的说法要找 Anthropic 官方模型卡或第三方评测对照,本文不能当证据。
可复现性「格式指令不可靠,专用工具更可靠」和「Grep 自检索优于 RAG 预注入」这两个结论可以低成本自己复现。
自己验证用真实模型(agent-harness-lab 的 fakeProvider 不算)跑同一组结构化提问任务,分别用 markdown 约定和工具 schema 两种方式,统计解析失败率。再在一个自有仓库上准备一组定位问题,对比 RAG 片段注入和只给 Grep 两种方式的命中率与 token 消耗。
遗漏文章没有讨论自检索的代价。Grep 多轮搜索带来的延迟、token 成本,子代理的额外调用费用,都没有和 RAG 对比。也没有说明删除或替换工具之前用什么评测判断「旧工具已经成为束缚」,只说要多实验。
自己验证在自己的任务上同时记录墙钟时间和 token 用量,比较单次 RAG 注入和多轮 Grep 的总成本;查 Claude Code 的变更说明,看 TodoWrite 换成 Task 时是否公布过回归数据。
遗漏「只支持少数能力剖面相近的模型」对产品方合理,但对第三方开发者等于默认模型锁定;文章也没有讨论多模型或降级场景下工具集该怎么处理。
自己验证在配置了降级模型的定时任务中(例如 AIM_MODEL_FALLBACK),人为触发降级,同输入对比主模型和降级模型的产物质量与格式遵守情况。