AI 前沿情报站claude-api skill → 开发方 → Anthropic
AI 来源复核 · Jev 67%1 条出处记录 · 1 条报告快照
· Automating eval design and hillclimbing with Claude
独立 AI 来源复核 · 2026-09-28
Anthropic 的一手工程文章具体交代它在 claude-api skill 中实现的两个子命令，支持开发归属。来源类型改为官方文章。
Codex 独立来源复核 · Jev 67% · 不计人工核验逐字原文依据
3: Playbooks Lance Martin 2026-09-28 约 12 分钟 阅读原文 ↗ [L0] 4: Automating eval design and hillclimbing with Claude
12: 01 Anthropic 在 claude-api skill 里加了两个子命令：/claude-api build-eval 引导你在自己的代码库里搭评测，并逐步验证判分器；/claude-api hillclimb 每轮只改一处，用留出集（held-out）抓过拟合。 13: 02 文章的方法论核心是先确认评测本身可信，再去优化分数：样本要贴近生产、更强的模型分数应更高、前沿要留有余量、多次运行方差要低，还要单独排除判分器不稳定和基础设施噪声（超时、API 报错、答案截断）。 14: 03 两个案例给的数字很好看（客服基准留出集从 78.6% 升到 90.5%，成本约为原来的五分之一；skill 评测从 66% 升到约 88%），但留出集只有 14 张工单，而且留出集在每轮都参与了保留还是回滚的决策，读这些数字要打折扣。
L0 https://claude.dev/blog/automating-eval-design-and-hillclimbing/
Anthropic在claude-api skill加入build-eval和hillclimb子命令。