
自主究竟意味着什么
汽车有六个自动化等级,对谁在驾驶也有明确的答案。企业 AI 同样需要这样的等级,在升级之前也需要同样的证明。
我们自己的口号以“下一步,自主”收尾。这样的承诺需要一个定义,否则就只是一种情绪。在我们这个行业里,一个能自行发送一封邮件的助手被称为自主,一幅无需员工就能运转的企业愿景也被称为自主。
汽车经历过同样的混乱,最终得出了一套如今大多数人都知道的分级。值得借鉴。
汽车做对了什么
SAE 驾驶自动化等级从 0 级到 5 级,美国道路安全机构 NHTSA 用平实的语言解释了它们。在 2 级及以下,即使系统替您转向、刹车和加速,也是您在驾驶、您在监控。在 3 级,由系统驾驶,但系统请求时您必须能够接管。在 4 级,系统在有限的服务区域内承担全部责任,车里的人都是乘客。只有到了 5 级,它才能在所有条件下、在任何地方驾驶。
有两个理念让这套分级很有用。每个等级是按谁负责来定义的,而不是按汽车有多聪明。而且较高的等级受地点限定:4 级意味着在一个区域内承担全部责任,而不是在任何地方。NHTSA 还指出,即使是如今消费者能买到的最高级别自动化,也需要驾驶员全身心投入、注意力高度集中。这套分级描述的是一条路径,而不是一个市场。
工作的等级
2025 年,Kevin Feng、David McDonald 和 Amy Zhang 三位研究者为 AI 智能体提出了一套类似的分级。他们按人所扮演的角色定义了五个等级:操作者、协作者、顾问、审批者和观察者。在审批者等级,只有当智能体遇到自己无法解决的障碍时,才需要人。在观察者等级,人可以阅读日志,但不再引导工作。
他们最尖锐的观点是:自主是一项有意为之的设计决定,与能力是两回事。一个能力很强的智能体,依然可以被设计成在每个操作之前都先征询。问题从来不只是模型能否完成工作,而是有人决定让它独自完成多少工作,以及依据什么证据。
按这套说法,如今每一款 crue 产品都在较低的等级上工作:机器起草和提议,人做决定。我们的下一阶段是审批者等级,关卡设在企业选择的地方。比如 North,将在企业设定的限额内在各渠道之间调配预算,并说明理由。在两套分级上,这都接近 4 级:在有边界的区域内承担全部责任,到达边界时再叫人。
首先必须具备什么
一个流程应当像汽车赢得服务区域那样,赢得自己的等级:凭证据,一次一个有边界的区域。在一项日常流程自行运行之前,必须具备五样东西。
书面规则:预算上限,任何人都不得给出的折扣,品牌从不使用的语气。智能体无法遵守一个只存在于某人脑中的限制。关卡:智能体停下来、由指定的人做决定的固定节点,设在一切无法撤销的事情之前。记录:每一步都有日志,这样错误的结果就能追溯到导致它的输入、规则或模型。在 Twin 中,每一步都有日志,每一次写入都以用户本人的身份登录完成。
归属:智能体出错时,由企业负责。2024 年,加拿大的一个仲裁庭把这一点说得很清楚:当时 Air Canada 辩称,其聊天机器人应对自己的行为负责。仲裁庭不予认同:无论是不是聊天机器人,航空公司都要对其网站上的所有信息负责,并且必须赔付。证据:等级要凭测得的结果赢得,而不是凭一次演示,就像 Proof 只有在数据站得住时才判定胜者。
欧盟《人工智能法案》对高风险用途的要求大致相同。其关于人工监督的条款要求,负责人能够理解系统的局限,对过度依赖它的倾向保持警觉,能够推翻其输出,并能让它停止运行。对于附件三所列的高风险用途,这项义务自 2027 年 12 月 2 日起适用;对于附件一涵盖的用途,则自 2028 年 8 月 2 日起适用。
旁观不等于监督
“监督”这个词里藏着一个陷阱。2 月,Anthropic 发布了人们实际如何监督其编程智能体 Claude Code 的数据。新用户在约百分之二十的会话中让它无需征询就直接行动;有经验的用户这样做的比例超过百分之四十。然而,有经验的用户也更常打断它:在约百分之九的轮次中打断,而新用户为百分之五。他们并没有停止监督,而是从逐步审批,转变为观察运行过程、在关键时刻介入。
Anthropic 还发现,在它观察到的操作中,只有约百分之零点八看起来不可逆。它的结论是,有效的监督不只是把一个人放进审批链,而是要处在能在关键时刻介入的位置。我们由此得出的结论是,关卡应该更少、更精:设在不可逆的步骤上,设在钱上,设在发出公司的消息上。
自主运营的企业
更大的争论在于,整家企业是否会以这种方式运营。Gartner 预计,到 2028 年,至少百分之十五的日常工作决策将通过智能体驱动的 AI 自主做出,而 2024 年这一比例为零。这是真实的转变;而按照这一预测,大多数决策仍然留给人。
迄今最诚实的测试规模很小。2025 年,Anthropic 让一个 Claude 智能体经营一家办公室小店,为期约一个月。它以低于成本的价格出售商品,被人说动发放折扣码,还一度让顾客把钱付到一个它编造的账户里。Anthropic 的结论是不会雇用它,但也认为 AI 中层管理者很可能已经近在眼前。
另一端,Margaret Mitchell 及其同事在 2025 年主张,根本不应开发完全自主的智能体,因为人让渡给智能体的控制权越多,对人的风险就越大。我们的立场介于两者之间:整个职能有朝一日可能自行运转,人守在边界上,但我们不给它定日期。
一项日常流程如何升级
对企业来说,实际的问题要窄得多:这一项日常流程能否升一级?我们的检验很简短。规则已经写下。关卡设在不可逆的步骤之前。每个操作都有日志,并签署到某个人名下。在足够多次的运行中,草稿已不再需要修改。而且有办法退回到上一个正常工作的版本。
我们自己的产品也沿着这条路走。Tempo 准备并测试当月的内容,每条帖子都由人审批;下一步,它会自行发布通过测试的内容,并在您希望的地方征求审批。Proof 运行由人批准的测试;下一步,它会在您的规则之内自行启动下一轮测试。North 负责解释,由人做决定;下一步,它会在您设定的限额内调配预算。
在我们的用法里,自主从来不意味着无人照看。它意味着一个有边界的区域、书面规则、每一步的记录,以及一个对结果负责的人。机器可以承担越来越多的工作。品味、判断,以及对以企业名义所做之事的责任,仍然属于人,而正是这一点,让其余的部分得以升级。一辆 4 级汽车仍然有车主。每一个自行运转的流程,也都会有自己的主人。


