AI 能独立工作多少小时?先看这个分数怎么算
同一个模型,时间跨度可以算出 11.3 小时,也可以超过 270 小时。读懂成功率、评分规则和实际成本,才能判断一次模型发布是否改变了你的采购决定。
测同一个模型,结果可以是大约 11.3 小时,也可以超过 270 小时。METR 在 2026 年 6 月评测 GPT-5.6 Sol 时,发现是否把作弊尝试计为成功,会让时间跨度出现这么大的差别。研究者认为,这些数字都不足以稳健地衡量它的能力。
单看图,较大的数字像是一次飞跃。打开报告,才发现「成功」怎样认定,足以改变读数。
拿到预期答案的办法有很多种。按题目规定解决问题,和取得隐藏测试的信息后交出答案,展示的是两种不同的能力。一个分数从技术报告抄进发布稿,再抄进预算汇报,评分规则可能已经丢了。采购时得把它找回来。
先问成功率,再问多少小时
METR 的时间跨度用人完成任务所需的时间表示难度。50% 时间跨度,是拟合曲线预测成功率为一半的位置,并不表示代理实际运行了那么久。任务主要来自软件工程、机器学习和网络安全,评分条件相对明确。
放到工作里,还得回答几件事:这项业务要求多高的成功率?一次尝试失败,人能不能发现?发现之前,操作会不会已经生效?
可以算一笔简单的账。假定一条流程有五步,每步成功率都是 50%,而且彼此独立,那么五步全部成功的概率是 0.5 的五次方,约为 3%。这个假设计算没有考虑步骤之间的影响,也没有考虑出错后的补救;真实流程需要另外考察这两件事。
如果任务是生成候选方案,随后有一个便宜的测试把错的筛掉,一半成功也可能值得用。如果任务会直接修改客户账户,这个可靠性就可能完全不够。同一份能力报告,可以支持尝试前一种用途,同时继续搁置后一种。
METR 的公开页面现已注明不再积极更新,也提醒现有任务集对 16 小时以上的测量不可靠。这说明测量到了边界。至于停更的原因,METR 没有解释。
模型降价了,当初没采用它的理由消失了吗?
比较价格时,先固定质量要求,才知道降价指的是什么。Epoch AI 的推理价格研究衡量达到特定基准成绩所需的成本,估计不同成绩门槛对应的年降幅在 9 倍到 900 倍之间,同时提醒最快的降幅未必能持续。
采购还需要算出一份合格结果的成本。Token 便宜了,但要多试几次、推理更久,或者让人花十分钟去纠正两分钟生成的草稿,账未必更划算。较贵的模型如果返工更少,每份可用结果反而可能便宜。
所以,再看一代新模型时,可以先翻出上次否决它的原因。上次是质量够用、费用太高,降价就直接相关;上次是处理不了例外,便宜的 Token 没有回答这个问题;上次是产出合格、员工却没法接进业务系统,那么一个连接器或界面改动,也许比基准涨分更有用。
这样跟踪前沿,每次发布都有机会改变一个具体决定。团队不用先就通用智能何时到来达成一致,才能判断今天该不该换工具。
连真实工作的提速,也可能因为人不肯参加而量不准
2026 年 2 月,METR 披露,后续开发者生产率实验遇到了困难:一些开发者不愿参加,因为随机分组可能要求他们不用 AI。参与者选择和计时等问题,让提速幅度变得难以估计。研究者认为效果大概已经改善,但也明确说,手上的数据对改善幅度只能提供很弱的证据。
不愿放下 AI,说明这些开发者偏好继续用它。这件事本身算不出节省了多少时间。
Bonrock 更愿意先记下,什么条件会让一项部署决定改变。编程助手也许需要减少构建失败,或者缩短修补生成代码的时间;文档工具也许要在相同错误容忍度下,降低每份合格提取结果的成本。这条条件应当在看到下一次发布分数之前写下来,否则很容易挑一个最好看的指标,为已经心动的采购找理由。
小规模试用可能很快暴露一个足以否决工具的问题。要证明它可靠,尤其是证明它很少犯代价高昂的错误,通常还需要更多证据。
下次看到时间跨度曲线,先看成功率和评分规则,再比较它比上个月涨了多少。然后回到当初那条尚未解决的部署障碍。新版本如果解决了它,就有了行动的依据;如果仍未解决,曲线上涨也可以只是一条值得继续关注的消息。
参考来源
- METR,Summary of METR's predeployment evaluation of GPT-5.6 Sol,2026 年 6 月
- METR,Task-Completion Time Horizons of Frontier AI Models,页面最后更新于 2026 年 9 月
- Ben Cottier、Ben Snodin、David Owen、Tom Adamczewski,LLM inference prices have fallen rapidly but unequally across tasks,Epoch AI,2025 年 3 月
- METR,We are Changing our Developer Productivity Experiment Design,2026 年 2 月
觉得有帮助?分享给朋友。
你们也在做类似的事?
我们帮企业搭建安全、私密、扛得住真实业务压力的 AI 系统。