METR 发现,GPT-6 Astra 等最新模型能完成部分人类约需 40 小时的任务。
企业可把有明确验收标准、通常需数天完成的工作纳入试点,用自己的任务测成功率。The Information 原文
METR 把 AI 评测推进到更长的任务。最新报告称,部分模型完成了人类约需 40 小时的任务,并在部分编码和结果可量化的任务上超过参评专家。
企业可把有明确验收标准、通常需数天完成的工作纳入试点,用自己的任务测成功率。The Information 原文
约一周的人类工作量,以人类专家完成同类任务的用时计。
METR 报告所跟踪的能力指标约每 3.6 个月翻倍。
报道列举了编码和目标可量化的任务,两类可以重叠。
The Information 11 月 20 日报道,METR 发现多款近期模型能完成部分人类约一周才能完成的任务。在报告所评估的编码及目标可量化任务中,模型经常超过做同样任务的专家。The Information 原文
这给企业测试长任务提供了尺度。40 小时指人类完成该任务所需的时间。模型运行耗时、人工介入量和在内部流程上的成功率需要另行测量。
METR 报告称,GPT-6 Astra 等模型完成了部分人类约需 40 小时的任务。The Information 原文
企业可以把需要数天、交付物明确的任务加入模型试点,并同时记录模型运行耗时和人工接手次数。
在同一批编码和目标可量化的任务上,近期模型经常超过参评人类专家。The Information 原文
在内部复测时,让领域专家和模型用同一批输入交付,再用同一套测试用例评估质量。
按 METR 的报告,其跟踪的能力指标约每 3.6 个月翻倍。The Information 原文
模型升级时复用同一套内部任务,便于区分模型能力变化和测试题目变化带来的分数差异。
11 月 20 日,The Information 报道 Anthropic 数学家 Levent Alpöge 在个人网站发表论证,称借助 AI 模型证明了 1859 年提出的黎曼猜想,论证仍待数学界独立核验。The Information 原文
读 40 小时级任务的报道时,可核对 METR 如何定义任务完成、选取对照专家和处理人工介入。The Information 原文
窗口为北京时间 2026-11-20 09:43:02 至 2026-11-21 09:43:02,下表原文时间采用 UTC。六个入口均返回 HTTP 200,登录有效,采集及 3 次单篇补读均未遇到 Cloudflare 验证。窗口内 6 篇有正文摘录,选用 METR 评测作头条,Anthropic 研究人员的证明主张作相邻信号。两个窗口边界线索经补读均校正为 10 月旧文,另一个临近截止时间的线索校正为 11 月 11 日。27 条前情仅用于选题校对。采集器另有 53 条未打开的 The Information 链接,正文未引用其中的主张。
Final takeaway · METR 的 40 小时结果把有明确验收标准的多日任务纳入了企业试点的范围。决定采用范围时,把模型交付质量、运行耗时和人工接手次数一起与专家基线比较。