点下「批准」之前,这个人能查出什么?
93% 的权限请求获批,不能单凭这个数字认定人工监督失效。真正需要验证的是:遇到一笔该拒绝的操作,审批人能不能发现,又有没有办法拦下来。
Claude Code 用户批准了大约 93% 的权限请求。Anthropic 的工程文章谈到审批疲劳,也报告说,引入沙箱后,权限提示减少了 84%。
看到这个批准率,很容易觉得人已经懒得看了。但仅凭 93%,还不能下这个结论。如果代理提出的操作绝大多数本来就合理,认真审查也可能得到很高的批准率。要判断监督有没有用,得知道那些本该拒绝的请求,有多少真的被拦住了。
采购方拿到一份审批日志,只能确认有人获得过干预的机会。这个人有没有条件发现错误,还要另外验证。
审批人看到的,可能只是另一个需要核实的答案
假设我们在设计一个退款助手,由代理提出退款,再交给客服批准。
屏幕上如果只有金额和代理写的理由,客服能判断的只是这段话听起来是否合理。要核实这笔钱该不该退,还得看到订单、适用政策、历史退款,以及这次是否引用了例外条款。让同一个代理再解释一遍自己的决定,仍然有可能把同一个错误解释得更顺。
把材料摊开也有代价。客服读完这些记录,也许已经花了手动处理退款所需的时间。公司这时就得作取舍:缩小代理可以提出的操作范围,改进核对界面,或者承认这项业务暂时省不了多少工。加一个批准按钮,解决不了这笔账。
拒绝之后的流程也要算进去。如果点同意只用一秒,点拒绝却要另填三张表,管理者其实已经给了员工一个尽量同意的理由。
Ben Green 审视了 41 项政府算法监督政策,质疑政策制定者凭什么假定,人能完成分配给他的监督任务。Ben Shneiderman 的人本 AI 框架则认为,高度自动化可以与人的充分控制同时存在。把两者放在一起,设计者需要回答的就很具体了:在这套安排里,人究竟能控制什么,有什么证据说明他做得到?流程图里画了一个人,还没有回答这个问题。
先试试他能不能拒绝一笔错单
对这个退款助手,我们会先在没有真实资金流动的环境里测试审批环节。准备一些已知有错的提案,比如重复退款、不符合政策的订单、金额正确却收款人错误的操作。审批人得到的信息和处理时间,应尽量接近日常工作,也不提前告诉他们哪一笔有问题。
看他们查出了哪些错误,漏掉了哪些,花了多久,又误拒了多少正确提案。把每一笔都卡住的流程,确实可能护住账户,也可能让客服业务根本运转不下去。
上线以后,我们会继续抽查处理记录和事故。演练时,人往往比平时警觉;真正上岗后,会有积压、打断和没见过的例外,审批还得经得起这样的工作量。
有些权限可以直接收掉。退款助手用不到其他客户账户里的资料,就不该拥有这些访问权。让审批人每次识别越权尝试,会额外占用本来就有限的核对时间。Anthropic 引入沙箱,把代理能碰到的范围收窄,就处理了这部分问题。
会检查的人,也需要机会把业务学会
材料齐全,还得有人读得懂。Anthropic 让 52 名开发者学习一个陌生的 Python 库,随机试验中,AI 辅助组随后的测验平均得分为 50%,独立编程组为 67%。这项短时练习提出的是新技能怎么学的问题,还不足以说明资深开发者长期使用 AI 会不会退化。
但它给负责培养新人的团队留下了一个实际问题:如果员工每天只看代理交来的成品,他在哪里学会识别错误?为什么某条退款规则存在,碰过例外、查过错账的人,往往才有机会弄清楚。调查案例、接受纠正、亲手处理一部分决定,都需要时间。这些时间应计入人工监督的成本。
责任也不能全部压在最后签字的人身上。Madeleine Clare Elish 提出的「道德溃缩区」,描述的就是控制权有限的操作员,却被归咎于整个自动化系统的失败。审批记录可能让这种归责更容易。批准部署的人,应当能说明为什么当时那位客服有足够的材料、知识和权限作出决定。
回到退款这件事,我们希望先看到客服查出重复退款,识别错误收款人,并说明一个例外为什么还不能批准。如果这些做不到,就继续改核对材料、权限和培训安排。
参考来源
- Anthropic,How we contain Claude across products,2026 年 5 月
- Ben Green,The Flaws of Policies Requiring Human Oversight of Government Algorithms,2022 年修订版
- Ben Shneiderman,Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy,2020
- Anthropic,How AI assistance impacts the formation of coding skills,2026 年 1 月
- Madeleine Clare Elish,Moral Crumple Zones,2019
觉得有帮助?分享给朋友。
你们也在做类似的事?
我们帮企业搭建安全、私密、扛得住真实业务压力的 AI 系统。