您网站上的助手，在代表您说话

越来越多的企业在网站或应用中部署助手。它在深夜作答，会说每一种语言，永远不会失去耐心。它也以企业的名义发言，处在开放的互联网上，任何人都可以向它输入任何内容；而在它背后，通常还有一个数据库、一组密钥，以及与其他系统的连接。

这让它成为一个安全问题，而不仅仅是营销问题。过去两年的案例显示了三种出错方式：助手承诺了企业从未提供的东西；它被人说动，说出了不该说的话；它背后的数据发生泄露。

它代表您发言

被引用最多的案例是 Air Canada。一位名叫 Jake Moffatt 的乘客在亲人去世后，向这家航空公司网站上的聊天机器人询问优惠票价。聊天机器人建议他可以先买票，事后再申请丧亲票价。但航空公司的政策不允许这样做，于是拒绝了他的申请。2024 年 2 月，在不列颠哥伦比亚省民事纠纷裁决庭上，Air Canada 辩称，聊天机器人是一个独立的法律实体，应为自己的行为负责。裁决庭成员 Christopher Rivers 不同意：聊天机器人“仍然只是 Air Canada 网站的一部分”。航空公司被判支付 812 加元。

金额不大，原则却不小：助手在您网站上说的话，就是您说的话。2025 年 4 月，代码编辑器 Cursor 的开发者当众学到了同样的教训。他们的客服机器人以 Sam 的名义署名，告诉用户一个订阅不能同时在多台机器上使用。根本没有这样的规定。联合创始人 Michael Truell 写道，这个回答来自一个 AI 客服机器人，是错误的，如今邮件客服中的 AI 回答都会被清楚标明。

任何人都可以输入任何内容

2023 年 12 月，一位用户让加利福尼亚州 Watsonville 一家 Chevrolet 经销商网站上基于 ChatGPT 的助手同意客户说的一切，并在每个回答结尾称其为具有法律约束力的报价。随后他要求以一美元购买一辆 2024 款 Tahoe，机器人同意了。车并没有易手，经销商关闭了这个聊天机器人。2024 年 1 月，快递公司 DPD 的一位客户让它的聊天机器人说了脏话，写了一首自称没用的俳句，还称 DPD 是世界上最差的快递公司。DPD 将此归咎于系统更新后的一个错误，并停用了 AI 功能。

这些还只是尴尬。下一个就是安全漏洞了。2025 年 8 月，Cybernews 的研究人员展示，只需一条约 400 个字符的提示词，就能让 Lenovo 的客服助手 Lena 生成有害的 HTML。这段代码会把会话 Cookie 发送给攻击者，而攻击者拿到客服人员的 Cookie 后，就能以该客服人员的身份登录客服系统。Lenovo 修复了这个漏洞。Everest Group 的一位分析师总结了教训：要把聊天机器人当作完整的应用程序对待，而不是当作 AI 试点项目。

聊天窗口背后是什么

一些最严重的案例根本不需要巧妙的提示词，问题出在助手背后的系统上。2025 年 6 月底，研究人员 Ian Carroll 和 Sam Curry 查看了 McHire，这是 McDonald’s 使用的招聘平台，搭配 Paradox.ai 开发的助手 Olivia。一个管理员登录入口接受 123456 同时作为用户名和密码。从那里开始，只需改动请求中的一个数字，就能打开他们统计的超过 6400 万名求职者的记录：姓名、电子邮箱地址、电话号码、住址，以及读取他们聊天记录的令牌。在他们报告后两小时内，这个登录入口就停用了。

2025 年 8 月，攻击者窃取了 Drift 的访问令牌。Drift 是企业在网站上运行的一款聊天工具，攻击者用这些令牌从与之相连的 Salesforce 系统中导出了数据。Google 的威胁情报团队发现，他们在窃取的数据中搜索密码和云密钥。在自家网站上使用 Drift 聊天机器人的 Cloudflare，在客户粘贴进客服工单的内容中发现了 104 个自己的 API 令牌，并将其全部轮换。

2026 年 3 月，Security Magazine 报道，研究人员 Jeremiah Fowler 在 Sears Home Services 的 AI 客服助手背后发现了三个未受保护的数据库，其中有 370 万条记录：聊天记录、通话录音和转写文本、姓名、地址和电话号码。有些录音长达四个小时，因为通话结束后线路一直没有挂断。

安全的助手需要什么

这些都不是关掉助手的理由，而是要像对待其他任何面向互联网的应用程序一样去构建它，再加上几条它特有的规则。

限定数据范围。助手能看到公开内容，用户登录后，也只能看到正在与之对话者本人的记录。谁能看到什么，由您的系统来检查，而不是由模型来检查。OWASP 说得很直白：授权不得交给语言模型来决定。

让机密遥不可及。助手背后的指令应当视为公开的，因为它们可能被提取出来。密钥、密码和连接信息都不应出现在其中，工具本身的令牌也要严格限定权限并定期轮换。

设定硬性限制。价格、折扣、退款和承诺来自您的系统，而不是来自模型。助手可以解释一项政策，但不能修改政策。它的输出同样被视为不可信，因此它永远无法把代码放进页面。

在模型之外设置防护。对输入和输出进行单独检查，因为要求礼貌待人的系统提示词只是一种愿望，而不是一种控制。

谨慎记录日志。每一次对话和每一个操作都要记录下来，以便发现并解释错误。这些日志同样包含个人数据，因此需要访问控制、加密和删除期限。

保留通往真人的出口。当助手没有把握时，当客户情绪激动时，当涉及金钱或承诺时，它会把对话交给能够做决定的人。AI 可以在任何时段处理例行问题。判断力、善意以及为承诺负责，是企业应当留给人的部分。

测试并标识。在上线前和每次更新后，用上面提到的那些伎俩去尝试攻破它：角色扮演、隐藏指令、索要折扣。并且要说明它是一台机器。瑞士联邦数据保护和信息专员表示，人们有权知道自己是否在与机器打交道；欧盟《人工智能法案》的透明度规则也有同样的要求，并已于 2026 年 8 月 2 日开始适用。

我们如何构建它

我们按照同样的规则构建助手。Twin 是我们为客户打造的企业大脑，它回答客户时会引用手册中的相关段落作为来源，按照企业自己的政策处理退货，并在没有把握时把对话交给人。访问权限按角色分配，每一步都有日志。

Studio 是企业运营网站和营销的地方，内置了针对注入指令的防护，其助手负责起草，由人来决定。对于不能离开企业的数据，由我们的合作伙伴 Eigna Labs 打造的 Eigna 作为私有模型，运行在企业自己的云端或服务器上，并经过训练，拒绝黑客行为和攻击。

已经在线上部署助手的企业，可以从五个问题开始。它能看到什么？它能承诺什么？它可能接触到哪些机密？谁在读它的日志？上一次有人尝试攻破它，是什么时候？