Что на самом деле значит «автономный»

Наш собственный девиз заканчивается словами «дальше автономно». Такому обещанию нужно определение, иначе это просто настроение. В нашей отрасли автономным называют и ассистента, который сам отправляет одно письмо, и видение компаний, работающих без сотрудников.

Автомобили прошли через ту же путаницу и вышли из неё со шкалой, которую сегодня знает большинство людей. Её стоит позаимствовать.

Что автомобили сделали правильно

Уровни автоматизации вождения SAE идут от 0 до 5, и американское агентство безопасности дорожного движения NHTSA объясняет их простыми словами. До уровня 2 включительно ведёте и следите вы, даже когда система рулит, тормозит и разгоняется за вас. На уровне 3 ведёт система, но вы должны быть готовы взять управление, когда она попросит. На уровне 4 система полностью отвечает за вождение в ограниченных зонах обслуживания, а люди внутри являются пассажирами. Только на уровне 5 она ездит везде и в любых условиях.

Две идеи делают шкалу полезной. Каждый уровень определяется тем, кто несёт ответственность, а не тем, насколько умна машина. И верхние уровни ограничены местом: уровень 4 означает полную ответственность внутри зоны, а не везде. NHTSA также отмечает, что даже самый высокий уровень автоматизации, доступный потребителям сегодня, требует полной вовлечённости и безраздельного внимания водителя. Шкала описывает путь, а не рынок.

Уровни для работы

В 2025 году трое исследователей, Кевин Фэн, Дэвид Макдональд и Эми Чжан, предложили похожую шкалу для ИИ-агентов. Они определяют пять уровней по роли, которую играет человек: оператор, соавтор, консультант, утверждающий и наблюдатель. На уровне утверждающего человек нужен только тогда, когда агент сталкивается с препятствием, которое не может устранить сам. На уровне наблюдателя человек может читать журналы, но больше не управляет работой.

Их самая острая мысль в том, что автономность является сознательным проектным решением, отдельным от возможностей. Очень способного агента всё равно можно построить так, чтобы он спрашивал перед каждым действием. Вопрос никогда не сводится только к тому, могла бы модель сделать работу. Вопрос в том, какую часть работы кто-то решил доверить ей выполнять в одиночку и на основании каких данных.

В этих терминах каждый продукт crue сегодня работает на нижних уровнях: машина готовит черновики и предлагает, а решает человек. Наш следующий этап: уровень утверждающего, с контрольными точками там, где их выбирает компания. North, например, будет перераспределять бюджет между каналами в пределах, которые задаёт компания, и объяснять почему. На обеих шкалах это близко к уровню 4: полная ответственность внутри ограниченной зоны и вызов человека при достижении её границы.

Что должно быть готово заранее

Процесс должен заслужить свой уровень так же, как автомобиль заслуживает свою зону обслуживания: доказательствами, по одной ограниченной зоне за раз. Прежде чем рутина начнёт работать сама, должны существовать пять вещей.

Письменные правила: потолок бюджета, скидка, которую никто не вправе дать, тон, который бренд никогда не использует. Агент не может соблюдать ограничение, которое живёт только в чьей-то голове. Контрольные точки: фиксированные места, где агент останавливается и решение принимает конкретный человек, расположенные перед всем, что нельзя отменить. Журнал: каждый шаг записывается, чтобы неверный результат можно было проследить до входных данных, правила или модели, которые его вызвали. В Twin каждый шаг записывается в журнал, а каждое изменение выполняется под учётной записью конкретного пользователя.

Ответственность: когда агент ошибается, отвечает компания. Канадский трибунал ясно показал это в 2024 году, когда Air Canada утверждала, что её чат-бот сам отвечает за свои действия. Трибунал не согласился: авиакомпания отвечает за всю информацию на своём сайте, чат-бот это или нет, и должна была заплатить. Доказательства: уровень зарабатывается измеренными результатами, а не демонстрацией, так же как Proof объявляет победителя только тогда, когда это подтверждают цифры.

Регламент ЕС об ИИ (AI Act) требует почти того же для применений с высоким риском. Его статья о человеческом надзоре требует, чтобы ответственные люди могли понимать ограничения системы, помнить о склонности слишком на неё полагаться, отменять её результаты и останавливать её. Эта обязанность действует со 2 декабря 2027 года для применений с высоким риском, перечисленных в приложении III, и со 2 августа 2028 года для тех, что подпадают под приложение I.

Наблюдать не значит надзирать

В слове «надзор» скрыта ловушка. В феврале Anthropic опубликовала данные о том, как люди на самом деле контролируют её агента для программирования Claude Code. Новые пользователи позволяли ему действовать без вопросов примерно в 20 процентах сессий, опытные более чем в 40 процентах. При этом опытные пользователи и вмешивались чаще, примерно в 9 процентах ходов против 5 процентов. Они не перестали контролировать. Они перешли от утверждения каждого шага к наблюдению за ходом работы и вмешательству тогда, когда это важно.

Anthropic также обнаружила, что лишь около 0,8 процента наблюдавшихся действий выглядели необратимыми, и пришла к выводу, что эффективный надзор требует большего, чем включить человека в цепочку утверждений: нужно быть в положении, позволяющем вмешаться, когда это важно. Мы читаем это как довод в пользу меньшего числа контрольных точек, но лучших: на необратимом шаге, на деньгах, на сообщении, которое уходит из компании.

Автономная компания

Более широкая дискуссия идёт о том, будут ли так работать целые компании. Gartner ожидает, что к 2028 году как минимум 15 процентов повседневных рабочих решений будут приниматься автономно с помощью агентного ИИ, тогда как в 2024 году таких не было вовсе. Это реальный сдвиг, и, согласно тому же прогнозу, большинство решений всё равно остаются за людьми.

Самый честный тест пока невелик. В 2025 году Anthropic позволила агенту Claude примерно месяц управлять офисным магазином. Он продавал товары дешевле себестоимости, поддавался на уговоры о скидочных кодах и какое-то время велел покупателям платить на счёт, который сам выдумал. Вердикт Anthropic: она бы его не наняла, но ИИ-менеджеры среднего звена, вероятно, уже на горизонте.

На другом полюсе Маргарет Митчелл и её коллеги утверждали в 2025 году, что полностью автономных агентов вообще не следует разрабатывать, потому что чем больше контроля человек уступает агенту, тем больше рисков возникает для людей. Мы находимся между этими позициями: целые функции однажды смогут работать сами, а люди будут на границах, и никакой даты мы для этого не называем.

Как рутина поднимается на уровень выше

Для компании практический вопрос уже: может ли эта конкретная рутина подняться на один уровень? Наш тест короткий. Правила записаны. Контрольная точка стоит перед необратимым шагом. Каждое действие записано в журнал и закреплено за конкретным человеком. Черновики перестали требовать исправлений на достаточном числе запусков. И есть путь назад к последней работавшей версии.

Наши собственные продукты идут по этому пути. Tempo готовит и тестирует месяц, а каждый пост утверждает человек; дальше он будет публиковать то, что прошло его тесты, и запрашивать одобрение там, где вы этого хотите. Proof проводит тесты, которые утверждает человек; дальше он будет сам запускать следующий тест в рамках ваших правил. North объясняет, а решает человек; дальше он будет перераспределять бюджет в заданных вами пределах.

Автономный в нашем понимании никогда не означает оставленный без присмотра. Это означает ограниченную зону, записанные правила, журнал каждого шага и человека, который отвечает за результат. Машина может брать на себя всё больше работы. Вкус, суждение и ответственность за то, что делается от имени компании, остаются человеческими, и именно это позволяет всему остальному подниматься выше. У автомобиля на уровне 4 по-прежнему есть владелец. Он будет и у каждого процесса, который работает сам.