轮次才是成本主变量
任务成本的主变量是轮次,不是单价:多一轮就多付一次「把之前全部内容重发」的钱,所以最省的一轮是不需要的那一轮。
机制拆解
agent 循环每走一圈就是一次请求,请求里要带上到目前为止的整段上下文。原文的例子:上下文从 20K 涨到 120K,跑 40 轮,累计输入约 2.8M token,缓存命中 90% 时输入费约 $1.62;同一任务压到 25 轮,累计约 1.75M、$1.02。对话本身从没超过 120K,但累计输入是对话体积的许多倍。省轮次的两个办法:给模型一个自检手段(测试、build、调接口的脚本),以及让它一次把需要的东西收集齐、把工具调用合并批量发。
“Each of those steps is a turn, and each turn resends the conversation so far.” ¶2