Skip to content
Bonrock
AI Strategy

截图在客户手里:加航聊天机器人案之后,AI 治理该从哪里做起

各地 AI 法规一推再推。2024 年加航聊天机器人案提醒企业:AI 说过什么、做过什么、凭谁授权,最好自己留着记录。

2022 年 11 月 11 日,加拿大人 Jake Moffatt 的祖母去世。他上加拿大航空的官网订机票去参加葬礼,网站上的聊天机器人告诉他,可以先买票,出票后 90 天内再申请丧亲优惠票价。机器人顺手给了一个链接,链接打开的是加航自己的「丧亲旅行」政策页,上面写着行程结束后,丧亲政策不再适用。

Moffatt 把聊天记录截了图。2023 年 2 月,他把截图和祖母的死亡证明一起发给加航。客服回信承认机器人用了「误导性的措辞」,说会更新机器人,票价差额却还是不给。Moffatt 于是把加航告到了不列颠哥伦比亚省的民事裁决庭。加航在庭上的意思是,聊天机器人是一个独立的法律主体,要为自己的行为负责。裁决庭说这是「一个惊人的主张」,认定加航要为自己网站上的信息负责,判它赔 812.02 加元(Legal500)。

这份裁决解决的是不列颠哥伦比亚省的这一宗纠纷,并没有给所有 AI 系统的责任下定论;类似的案子换个地方,要看各自的事实和法律。它被反复引用,是因为裁决用的就是普通的过失性失实陈述,没有借助任何专门的 AI 规则。案卷里有个细节值得琢磨:能拿出聊天机器人原话的,是客户。

AI 专门立法一直在往后推

这个判决之后,各地的 AI 法规宣布了不少,也推迟了不少。2026 年 7 月,欧盟把招聘、教育这类高风险用途的义务从 2026 年 8 月推到了 2027 年 12 月 2 日(European Commission)。科罗拉多州州长 2026 年 5 月签署新法,大幅收缩了原来的 AI 法案,生效日推到 2027 年 1 月 1 日(Hunton)。加拿大放弃了原来的 AI 法案,2026 年 6 月提交了 C-36 法案,这是一部隐私法,要求机构在用自动化方式对个人作出重大决定时保持透明(ISED)。

很多公司会把这些推迟当成可以再等等的信号。新的时间表并没有让判 Moffatt 案的那类普通法律暂停。在那场纠纷里,这类法律已经足以让公司为聊天机器人对客户说的话负责。

我们会朝哪个方向建

这几套新规则的范围和立场各不相同,满足了一套,不等于满足了另一套。其中两套指向的能力倒是一样的。加拿大的法案要的是自动化决策的透明。中国 2026 年 5 月发布的智能体指导意见,把智能体的决策分成三档:只能由用户作出的、需要用户授权的、智能体可以自主作出的,并规定用户对智能体的自主决策享有知情权和最终决定权(NYU Shanghai RITS)。两者都默认,对某一个自动化决定,有人说得清谁有权作出它。

我们建议的操作检验,是针对某一天的某一个动作问四个问题:哪个系统做的,凭谁的授权,用了哪些数据,人本来可以怎样叫停。答得上来,不代表在哪里就合规了;答不上来,这几套规则哪一套都会更难达到,真遇上纠纷也会很被动。

证据往往散在各处

IBM 2025 年的数据泄露研究,能让人感觉到基本功缺得有多普遍。它调查的 600 家出过数据泄露的机构里,63% 没有 AI 治理制度;发生过 AI 相关安全事件的机构里,97% 承认没给 AI 系统做好访问控制(IBM)。这些都是已经出过事的公司,数字推不到所有公司身上。它说明的是,在事后需要调查的那些机构里,基本的控制常常是缺位的。

智能体让这几个问题更难回答,哪怕日志都在。聊天机器人产出的是文字,一张截图就能留下来。智能体要读订单、改记录、发邮件,痕迹分别留在模型供应商的后台、CRM 的审计记录和邮件服务器里,每处的保存期限和访问权限都不一样。事后要还原一个动作,得把这些碎片拼起来,有些可能已经过期删掉了。

先把授权和结果记下来

我们认为,跑智能体的公司应该先让每个动作都能追到具体的智能体和具体的授权。每个智能体配一套自己的凭证,权限只覆盖它负责的工作。谁授权了哪类动作、智能体实际做了什么,记在公司自己掌握的一个地方。事先定好哪些动作智能体可以自己做,哪些要人批准,哪些永远不能做;中国的三档划分,不管在哪里经营都可以拿来当模板。凡是动钱、对外联系,或者做了就撤不回来的事,前面都要有人把关。

原始内容要分开处理。提示词和输入里可能有个人信息和机密数据,多存一份就多一份泄露的可能。保存多久,按这个具体用途实际适用的义务来定,和法务一个用途一个用途地商量。打着治理的旗号什么都无限期存着,本身就是一种风险。

制度、风险台账、委员会章程照样有用,欧盟的高风险规则一到就更离不开。有了记录以后,这些东西好写得多,每一条规定都能指着一样实实在在的东西。

可以做个练习看看自己在哪一步。挑一件上周 AI 替你做过的事,比如它发的一封邮件、改的一条记录、回复的一位客户,掐表看团队要多久能答出那四个问题。Moffatt 那场纠纷里,聊天机器人说过什么,最清楚的记录是客户的截图。你的系统是不是也这样,最好在客户、监管者或者裁决庭来问之前就弄清楚。

参考来源

觉得有帮助?分享给朋友。

你们也在做类似的事?

我们帮企业搭建安全、私密、扛得住真实业务压力的 AI 系统。

和我们聊聊 →