Skip to content
Bonrock
返回文章列表
AI Strategy

Klarna 的 AI 客服第一个月成绩单，回答不了哪些问题

Klarna 的 AI 客服上线一个月，满意度和人工持平；一年后公司重新招客服。试点头几个月的好数字，回答不了长期服务质量的问题。

2024 年 2 月 27 日，瑞典支付公司 Klarna 公布了 AI 客服上线一个月的成绩：一个月接了 230 万次对话，占全部客服聊天的三分之二，相当于 700 名全职客服的工作量；客户办完一件事平均不到 2 分钟，以前要 11 分钟；重复来问的情况少了 25%；客户满意度和人工客服持平。公司估计，这一年能因此多赚 4000 万美元（Klarna）。

这份成绩单值得细看。除了省下的钱，Klarna 还报了速度、准确率和满意度。

十五个月后，CEO Sebastian Siemiatkowski 对彭博社说，AI 客服确实便宜，可服务质量变差了，公司要重新招一批人工客服（Entrepreneur）。到 2025 年 6 月，他的说法变成人工客服以后会是一种「VIP」服务，这时公司总人数已经从两年前的约 5500 人降到 3000 人左右（TechCrunch）。

具体哪里出了问题，上线后又是怎么评估的，Klarna 都没有公开，外人说不清它为什么改了主意。公开的这条时间线能支持的结论要窄一些：第一个月漂亮的整体数字，并没有替公司定下对长期服务质量的判断。凭早期成绩批试点的人，值得记住这一点。

一个月的平均数可能盖住什么

满意度平均分可以很好看，同时有一小部分对话处理得很糟。在客服场景里，这一小部分可能是有争议的扣款、手头周转不过来的客户，或者规章没写清楚的情况。这类对话如果不常见，对平均分几乎没有影响，在客户心里的分量却可能很重。

Klarna 是不是这样，我们不知道。评估本来就该设计成能发现这种情况，因为平均数恰好最容易把它盖住。UltraChat 论文的作者写过：从 0 分做到 60 分很容易，从 60 分做到 100 分难得多。Chip Huyen 把这句话列为做 AI 产品最先吃到的苦头之一（Huyen）。一个卡在 60 分的系统和一个正往 100 分走的系统，早期的整体数字可能看不出区别。

流传很广的 MIT 数字，说 95% 的企业没从生成式 AI 拿到回报，样本是 52 场访谈和 153 份问卷，作者自己也说只代表大致方向（MIT NANDA）。全市场的失败率，对眼前这一个项目帮助不大。更有用的问题是：拿什么证据来决定继续投、改方向，还是停掉。

证据来自自己业务里的难办案例

我们建议的做法，是在调系统之前先收集真实的业务样例，特意把难办的收进来，每一个都写清楚怎样处理才算合格。系统拿这套样例来考，上线后发现的新错误，也补进样例里。

这件事可能要花很大力气。Hamel Husain 和 Shreya Shankar 给很多 AI 产品搭过评估体系，他们说自己 60% 到 80% 的开发时间花在错误分析和评估上（Husain and Shankar）。

摩根士丹利是上线前先评估的一个公开例子。按供应商 OpenAI 的说法，内部有人怀疑顾问助手靠不靠得住，银行的回应是给每一个拟上线的应用做严格评估，拿答案和自家专家的回答对照，然后才把用例陆续推进生产。OpenAI 说现在 98% 的摩根士丹利顾问每天都在用（OpenAI）。这是供应商的说法，它展示的是一家公司的做事顺序，证明不了评估就是各家成败的分水岭。

有了样例，一些反复争论的问题也能拿来测。这一步要不要上智能体，先用固定脚本跑一遍样例看看；Anthropic 的工程师建议先找「最简单的方案」，确实需要再加复杂度（Anthropic）。自建还是采购，让供应商的产品和内部原型考同一套题。

业务定标准，工程师把它跑起来

我们会这样分工：每天处理争议和例外的人来定什么算合格，他们知道哪些案例要紧、好的处理是什么样；工程师负责分析失败、写检查、让这套检查一直跑着。两边缺一不可。只有业务专家，清单没人能跑；只有工程师，容易只测好打分的东西。

样例要有人维护。政策会变，产品会变，客户也会碰到新问题，旧案例会过时，新案例要补进来。每次换模型、改提示词，上线前都先拿当前这套样例跑一遍。

起步可以这样做：从最近的真实案例里抽一批，多挑被升级、退了款、被投诉过的，请当时处理的人在旁边写上正确的做法。几十个往往就足够看出团队和系统懂不懂这项业务；如果数据受监管、判定又慢，第一批会拖得久一些，这一点最好在开发前就知道。数量没有比例要紧。一套只有简单案例的样例，考出来的还是第一个月看板上那种舒服的平均数，批预算的人从中看不到任何新东西。

参考来源

觉得有帮助？分享给朋友。

你们也在做类似的事？

我们帮企业搭建安全、私密、扛得住真实业务压力的 AI 系统。

和我们聊聊 →