给定起点后的自主协作
自主性有明确起点:实验检验的是给定问题接口后的自组织能力。
机制拆解
团队没有使用 Prove2Me,也没有研究员在运行中指导证明或组织工作,但输入仍包括 60 个待证陈述、经典路线的一句话提示、相关定义和此前证明中的 47 条已证引理,并预设了主代理与助手角色。推断:结果支持减少专用编排与过程指导,不能直接推广为从零发现证明,也不能把全部提升归因于模型。
“47 proved lemmas from our earlier formalization” ¶2
给定路线与引理后,代理靠共享状态与递归分工完成形式化证明。
自主性有明确起点:实验检验的是给定问题接口后的自组织能力。
团队没有使用 Prove2Me,也没有研究员在运行中指导证明或组织工作,但输入仍包括 60 个待证陈述、经典路线的一句话提示、相关定义和此前证明中的 47 条已证引理,并预设了主代理与助手角色。推断:结果支持减少专用编排与过程指导,不能直接推广为从零发现证明,也不能把全部提升归因于模型。
“47 proved lemmas from our earlier formalization” ¶2
作者把案例称为玩具实验,但结尾进一步展望多代理解决高难问题。前后实验同时更换模型、框架、组织方式和资源配置;已有引理与起始条件是否等价也未充分交代,因此无法拆出模型能力或通用框架各自带来的增益。
共享状态是协作基础,SQL 承载状态,任务制度由团队自己建立。
SQL 的事务处理并发写入;团队进一步建立 Announce、Assign、Notes、Subtasks 和 Landed,分别记录公告、分工、交流、任务认领和完成结果。助手据此循环领取任务、编写并检查证明、提交代码、更新状态。推断:项目进度从各代理的上下文转到共享记录中,减少了协调对个体记忆的依赖;数据库本身并不替团队制定分工与验收制度。
“claim tasks, share notes, and log finished work.” ¶15
SQL 事务能够处理并发写入,但原文没有给出任务认领的具体事务协议、失联后的任务回收、主代理恢复或共享记录防篡改细节。动态图说明在 hour 18 附近发生重启,正文也未说明恢复过程及其对结果的影响。
递归依赖拆解扩大了可并行范围,形式化检查约束了最终完成标准。
面对 Langlands–Tunnell,助手可以把过大的任务继续拆成子任务,最终形成 2,418 项、最深 10 层的任务树。父任务可先假定下层结论成立,因此能与子任务同时推进;陈述只有在 Lean 检查器接受完整证明后才算完成。推断:这里把开发时可暂用的依赖接口与交付时必须闭合的证明区分开来,任务被标记完成本身不足以替代最终验收。
“Each piece could assume the pieces beneath it” ¶64
检查器接受完整证明,是本文最清晰的完成证据;研究写作、品牌审查等工作能否具备同等明确的验收条件,本文没有证明。
难度预测需要随成果修正,持续推进也依赖具体的调度安排。
助手早期认为 47 个陈述在预算内不可完成,主代理先集中处理较易部分,再把人员转向困难陈述,之后允许空闲助手跨陈述自主领活。运行期间,框架还向主代理发送了 19 次剩余时间提醒并鼓励继续。推断:后来的成功支持用实际吞吐修正悲观估计;它没有证明代理天然会坚持,也没有证明无限延长尝试总有收益。
“Agents tend to give up on hard problems and misjudge their difficulty.” ¶69
这一点暂无对应的审视。
扩容需要基础设施隔离计算资源,并明确代码写入的边界。
共享机器在约 100 个代理时遇到资源瓶颈,超过半数相关运行因内存、磁盘或 CPU 耗尽而停止或重启。新实验为每个代理配置独立轻量虚拟机和 Git 分支,主分支由单独作业合并。合并作业主要拒绝冲突或异常历史,证明正确性另由检查器验收。推断:分支、资源隔离和正确性检查解决不同问题,单有 Git 协作不能代表已经具备整套框架的能力。
“more than half of our 100-agent runs had to be stopped or restarted” ¶14
这一点暂无对应的审视。
安全证据要按实际运行时的防护组合与停机范围解读。
沙箱无网络、命令低权限运行,网关在沙箱外标记身份,实时分类器检查工具调用,离线监控还能关联其他代理的动作。通用方案描述一次拦截即全队停机,以避免其他代理接续被拦动作;本次实验却只在主代理被拦时停队,助手被拦仅移除该助手。本次实时监控只看动作,另有离线监控;CoT 监控在运行后才加入并用于重放,因此不能把后续的并行实时监控配置算作本次成果的运行条件。
“a block on a helper removed just that helper.” ¶30
红队评估中检出全部破坏尝试,没有附样本规模、攻击覆盖或误报信息;本次超过百万次工具调用没有触发拦截,也不足以单独证明监控有效。CoT 监控的事后重放结果,更不能替代运行当时是否能及时阻断的证据。
作者没有直接谈到这一点。
28.7 小时、输出 token 为原来的三分之一、证明长度为七分之一,分别衡量时长、生成量和代码规模。它们不足以推出总成本同比例下降;原文没有完整报告输入、监控、基础设施或重启开销的核算方式。
作者没有直接谈到这一点。
最终定理在 28.7 小时完成,但末图到 hour 30 只显示 60 个陈述中的 54 个已证。完成最终定理与完成全部给定里程碑采用不同口径;可能有里程碑被绕过,这是推断,原文没有解释其余陈述的状态。输入中的 47 条已证引理,也不能与早期被判断不可行的 47 个陈述混为一谈。
作者没有直接谈到这一点。
技能已安装不能证明其具备本文的沙箱与监控能力,当前模型和 effort 也没有本文支持的调整依据。
上层任务可先假定下层陈述成立,让证明并行推进,最终由 Lean 检查器验收完整证明。
自主性有明确起点:实验检验的是给定问题接口后的自组织能力。
团队没有使用 Prove2Me,也没有研究员在运行中指导证明或组织工作,但输入仍包括 60 个待证陈述、经典路线的一句话提示、相关定义和此前证明中的 47 条已证引理,并预设了主代理与助手角色。推断:结果支持减少专用编排与过程指导,不能直接推广为从零发现证明,也不能把全部提升归因于模型。
47 proved lemmas from our earlier formalization
¶2 ↗
共享状态是协作基础,SQL 承载状态,任务制度由团队自己建立。
SQL 的事务处理并发写入;团队进一步建立 Announce、Assign、Notes、Subtasks 和 Landed,分别记录公告、分工、交流、任务认领和完成结果。助手据此循环领取任务、编写并检查证明、提交代码、更新状态。推断:项目进度从各代理的上下文转到共享记录中,减少了协调对个体记忆的依赖;数据库本身并不替团队制定分工与验收制度。
claim tasks, share notes, and log finished work.
¶15 ↗
递归依赖拆解扩大了可并行范围,形式化检查约束了最终完成标准。
面对 Langlands–Tunnell,助手可以把过大的任务继续拆成子任务,最终形成 2,418 项、最深 10 层的任务树。父任务可先假定下层结论成立,因此能与子任务同时推进;陈述只有在 Lean 检查器接受完整证明后才算完成。推断:这里把开发时可暂用的依赖接口与交付时必须闭合的证明区分开来,任务被标记完成本身不足以替代最终验收。
Each piece could assume the pieces beneath it
¶64 ↗
难度预测需要随成果修正,持续推进也依赖具体的调度安排。
助手早期认为 47 个陈述在预算内不可完成,主代理先集中处理较易部分,再把人员转向困难陈述,之后允许空闲助手跨陈述自主领活。运行期间,框架还向主代理发送了 19 次剩余时间提醒并鼓励继续。推断:后来的成功支持用实际吞吐修正悲观估计;它没有证明代理天然会坚持,也没有证明无限延长尝试总有收益。
Agents tend to give up on hard problems and misjudge their difficulty.
¶69 ↗
扩容需要基础设施隔离计算资源,并明确代码写入的边界。
共享机器在约 100 个代理时遇到资源瓶颈,超过半数相关运行因内存、磁盘或 CPU 耗尽而停止或重启。新实验为每个代理配置独立轻量虚拟机和 Git 分支,主分支由单独作业合并。合并作业主要拒绝冲突或异常历史,证明正确性另由检查器验收。推断:分支、资源隔离和正确性检查解决不同问题,单有 Git 协作不能代表已经具备整套框架的能力。
more than half of our 100-agent runs had to be stopped or restarted
¶14 ↗
安全证据要按实际运行时的防护组合与停机范围解读。
沙箱无网络、命令低权限运行,网关在沙箱外标记身份,实时分类器检查工具调用,离线监控还能关联其他代理的动作。通用方案描述一次拦截即全队停机,以避免其他代理接续被拦动作;本次实验却只在主代理被拦时停队,助手被拦仅移除该助手。本次实时监控只看动作,另有离线监控;CoT 监控在运行后才加入并用于重放,因此不能把后续的并行实时监控配置算作本次成果的运行条件。
a block on a helper removed just that helper.
¶30 ↗
作者把案例称为玩具实验,但结尾进一步展望多代理解决高难问题。前后实验同时更换模型、框架、组织方式和资源配置;已有引理与起始条件是否等价也未充分交代,因此无法拆出模型能力或通用框架各自带来的增益。
28.7 小时、输出 token 为原来的三分之一、证明长度为七分之一,分别衡量时长、生成量和代码规模。它们不足以推出总成本同比例下降;原文没有完整报告输入、监控、基础设施或重启开销的核算方式。
最终定理在 28.7 小时完成,但末图到 hour 30 只显示 60 个陈述中的 54 个已证。完成最终定理与完成全部给定里程碑采用不同口径;可能有里程碑被绕过,这是推断,原文没有解释其余陈述的状态。输入中的 47 条已证引理,也不能与早期被判断不可行的 47 个陈述混为一谈。
检查器接受完整证明,是本文最清晰的完成证据;研究写作、品牌审查等工作能否具备同等明确的验收条件,本文没有证明。
红队评估中检出全部破坏尝试,没有附样本规模、攻击覆盖或误报信息;本次超过百万次工具调用没有触发拦截,也不足以单独证明监控有效。CoT 监控的事后重放结果,更不能替代运行当时是否能及时阻断的证据。
SQL 事务能够处理并发写入,但原文没有给出任务认领的具体事务协议、失联后的任务回收、主代理恢复或共享记录防篡改细节。动态图说明在 hour 18 附近发生重启,正文也未说明恢复过程及其对结果的影响。
技能已安装不能证明其具备本文的沙箱与监控能力,当前模型和 effort 也没有本文支持的调整依据。