Lance Martin

文章的原则 ¶6 说更强模型应该得分更高，可成本案例里 Sonnet 5 低 effort 和 Opus 5.5 低 effort 分数几乎一样，最终在 search 集上接近饱和。这说明该评测对模型能力可能不敏感，和文章自己的健康检查原则存在张力，但文章没有讨论。

hillclimb 每轮用 test 决定保留还是回滚，最后又留下 test 上表现最好的版本，test 集实际上成了验证集，存在适应性过拟合。文章没有提到需要一个从头到尾不参与任何决策的第三份留存集。

这篇文章是在推广自家 skill 和新模型。成本案例里有一部分节约直接来自 Opus 5.5 的定价：输入输出便宜 20%，缓存读便宜 60%，原文自己也承认这一点。所以「成本降到约五分之一」不能全部算作 hillclimb 方法的功劳。

98.9% 是在被搜索过的 30 张工单上得到的。真正可以参考的是 14 张留出工单上 90.5% 对 78.6%，但样本只有 14 张，一张工单就会让分数变动好几个百分点，而原文没有给出这组数字的置信区间。