Mythos, модель, которую Anthropic придержала

Большинство ИИ-моделей анонсируют в тот день, когда ими может воспользоваться любой. С Claude Mythos было иначе. В апреле Anthropic описала модель, которая, по её словам, умеет находить и использовать уязвимости в программах лучше всех, кроме самых опытных людей, и заявила, что не сделает её общедоступной.

Полгода спустя защищённая версия продаётся всем, после того как в июне письмо правительства на почти три недели отключило её, а поднятый ею вопрос всё ещё открыт: кто решает, когда модель слишком способна, чтобы её продавать. Рассказываем, что произошло и какие выводы мы из этого делаем.

Утечка, затем предупреждение

О её существовании стало известно случайно. 26 марта Fortune сообщил, что Anthropic оставила неопубликованные черновики в общедоступном хранилище данных, где их можно было найти поиском. В одном из них Mythos называлась «безусловно самой мощной ИИ-моделью, которую мы когда-либо разрабатывали», а также говорилось, что её дорого запускать и она не готова к общему выпуску. Anthropic подтвердила работу над моделью и назвала её «качественным скачком и самой способной из всех, что мы построили на сегодня».

7 апреля компания представила Claude Mythos Preview вместе с Project Glasswing, программой использования модели для защиты. Среди партнёров запуска были Amazon Web Services, Apple, CrowdStrike, Google, JPMorganChase, Linux Foundation и Microsoft, а доступ получили ещё больше 40 организаций, которые поддерживают критически важное программное обеспечение. Anthropic выделила до 100 миллионов долларов в кредитах на использование. После этого партнёры платят 25 долларов за миллион входных токенов и 125 долларов за миллион выходных.

Примеры были конкретными: уязвимость в OpenBSD возрастом 27 лет, позволявшая злоумышленнику удалённо обрушить машину, уязвимость в FFmpeg возрастом 16 лет и цепочка уязвимостей в ядре Linux, которая вела к полному контролю над машиной. Обо всех сообщили, и все были исправлены. Причину, по которой модель придержали, назвали прямо: «Мы не планируем делать Claude Mythos Preview общедоступной». Если такие возможности распространятся, утверждала Anthropic, последствия для экономики, общественной безопасности и национальной безопасности могут быть серьёзными.

Что обнаружили другие

Британский AI Security Institute протестировал модель в течение недели. Она стала первой моделью, которая от начала до конца прошла симулированную атаку института на корпоративную сеть из 32 шагов, в 3 попытках из 10, и в среднем проходила 22 шага там, где следующая по силе модель справлялась с 16. Институт добавил важную оговорку: в его тестовых сетях не было активных защитников, поэтому «мы не можем с уверенностью сказать, сможет ли Mythos Preview успешно атаковать хорошо защищённые системы».

Другие усомнились в том, насколько эксклюзивна эта способность. В день запуска Станислав Форт из компании по безопасности AISLE дал уязвимый код из примеров Anthropic небольшим и дешёвым моделям. Все восемь нашли уязвимость во FreeBSD, которую демонстрировала Anthropic, в том числе модель с 3,6 миллиарда активных параметров, хотя им сразу дали нужную функцию. Его вывод: преимущество скорее в системе вокруг модели, чем в какой-то отдельной модели.

Находить к тому же оказалось проще, чем исправлять. Anthropic утверждает, что с апреля по июль партнёры Glasswing нашли не менее 129'000 подтверждённых уязвимостей. В сентябре Патрик Гэррити из VulnCheck проверил 26'153 находки, которые Anthropic приписывает собственному сканированию: примерно каждая десятая попала в её публичный реестр раскрытий, и меньше одной из ста была помечена как исправленная. «Квитанции начинают понемногу поступать, просто они не сходятся», написал он.

Fable и отключение

9 июня Anthropic выпустила Claude Fable 5, «модель класса Mythos, которую мы сделали безопасной для общего использования», и Mythos 5 для своих партнёров по Glasswing. Это одна и та же модель с разными защитными механизмами. В Fable отдельные классификаторы отслеживают запросы о кибератаках, биологии и химии, а также попытки скопировать модель, и передают их более старой модели Claude.

Через три дня Министерство торговли США написало Anthropic, что любому иностранному лицу, в США или за их пределами, включая собственных сотрудников Anthropic, теперь нужна экспортная лицензия для использования любой из этих моделей. По имеющимся сведениям, исследователи Amazon нашли способ обойти ограничения Fable. Anthropic не могла проверить гражданство каждого пользователя, поэтому написала, что вынуждена «внезапно отключить Fable 5 и Mythos 5 для всех наших клиентов». Аналитики CSIS усомнились в правовых основаниях, ведь ничего никуда не отправляется: пользователи обращаются к модели на серверах Anthropic.

30 июня Министерство торговли сняло ограничения. Взамен, по сообщению Al Jazeera, Anthropic согласилась выявлять и устранять риски безопасности, помогать устанавливать стандарты для будущих моделей и сообщать о вредоносной активности. Обе модели вернулись 1 июля. Версия 5.1 вышла 1 сентября, причём Mythos 5.1 доступна только проверенным организациям, и пока только в США. 6 октября Anthropic включила Glasswing в более широкую программу Cyber Verification Program с тремя уровнями, и каждого кандидата на высший уровень проверяют совместно с правительством США.

Почему всё было сделано так

Официальная причина Anthropic: возможности опередили защитные механизмы. «Модели класса Mythos достигли порога, на котором они несут значительные риски», написала компания при запуске Fable, и её ответом стала последовательность: сначала защитники, затем классификаторы и в конце защищённый общий выпуск. В сентябре генеральный директор Дарио Амодей пошёл дальше: «Мы должны замедлить темп, в котором улучшаем возможности ИИ-моделей».

Это уже не путь одной компании. Когда OpenAI в сентябре выпустила GPT-6 Astra, это была первая модель OpenAI, достигшая её собственного «критического порога возможностей в кибербезопасности», и она попала к киберзащитникам раньше, чем к кому-либо ещё. Поэтапный доступ по степени доверия становится нормой при выпуске самых сильных моделей.

Что это значит для компании

Отсюда следуют три вещи. Лучшие модели теперь распределяются по уровням доверия, и публичная версия может передавать часть вопросов более старой модели. Модель может исчезнуть за одну ночь по причинам, которые не имеют к вам никакого отношения: 12 июня все клиенты Fable лишились её в один и тот же день. И находить уязвимости теперь стало дешёвой частью безопасности. Трудная часть заключается в исправлении, и поэтому совет института компаниям звучит буднично: своевременные обновления, строгий контроль доступа, безопасная конфигурация и хорошее журналирование.

Поэтому мы храним знания компании вне какой-либо одной модели, в Twin, и поэтому для критически важной работы предлагаем Eigna: собственную частную модель компании, созданную нашим партнёром Eigna Labs, работающую в её собственном облаке или на её собственных серверах и рассчитанную на автономную работу в закрытых сетях. Она не сравнится с передовой моделью в каждой задаче, и для большей части конфиденциальной работы это и не нужно. Модель, которая работает на вашем собственном оборудовании, не исчезнет из-за того, что поставщик получил письмо.