В безопасности ИИ теперь с обеих сторон

В январе 2026 года кантональная полиция Швица сообщила о случае, который ещё несколько лет назад звучал бы как фантастика. В течение двух недель преступники звонили владельцу местной компании и выдавали себя за знакомого ему делового партнёра, используя голос, изменённый с помощью ИИ. Под прикрытием конфиденциальной международной сделки он сделал несколько переводов на сумму в несколько миллионов франков на счёт в Азии. Мошенничество заметили, только когда деньги уже ушли.

Это одна сторона безопасности сегодня: злоумышленники, которые используют ИИ. Другая сторона находится внутри компании, где агенты читают почту, хранят ключи и что-то отправляют наружу. Компании нужно готовиться к обеим. Мы строим агентов для собственной работы и для клиентов, поэтому ни одна из сторон для нас не абстракция.

Знакомый голос

Случай в Швице не единственный. В феврале 2025 года Reuters сообщило, что мошенники клонировали голос министра обороны Италии Гвидо Крозетто, чтобы просить у руководителей компаний деньги на освобождение похищенных журналистов. Массимо Моратти, бывший владелец «Интера», отправил почти миллион евро, прежде чем полиция отследила деньги до счёта в Нидерландах и заморозила их.

ФБР теперь учитывает такие случаи отдельно. В его отчёте об интернет-преступности за 2025 год значится более 22'000 жалоб с упоминанием ИИ, со скорректированными убытками свыше 893 миллионов долларов, и отмечается, что многие жертвы не понимают, насколько сильно в этом был замешан ИИ. Компании потеряли более 30 миллионов долларов из-за почтового мошенничества с элементом ИИ, когда убедительное письмо или клонированный голос просит о платеже. Бюро также описывает собеседования, проведённые с поддельными голосами, возможно дипфейками, обычно ради доступа к сети компании.

Фишинг без опечаток

Письменные атаки изменились не меньше. Отчёт Microsoft Digital Defense Report 2025 показал, что по ссылкам в фишинговых письмах, автоматизированных с помощью ИИ, кликали в 54 процентах случаев против 12 процентов для обычных. ENISA, агентство ЕС по кибербезопасности, написало в октябре 2025 года, что к началу 2025 года фишинг с поддержкой ИИ, по имеющимся данным, составлял более 80 процентов наблюдаемой в мире социальной инженерии.

Злоумышленники используют ИИ и для самого взлома. В ноябре 2025 года Anthropic сообщила о кампании, которую с высокой степенью уверенности приписала китайской группе, поддерживаемой государством. Группа использовала Claude Code против примерно тридцати организаций и поручила ИИ от 80 до 90 процентов работы. В небольшом числе случаев ей это удалось. Обзор OWASP за первый квартал 2026 года добавляет взлом мексиканских государственных ведомств, при котором злоумышленники, по имеющимся данным, использовали Claude, а иногда и ChatGPT.

Старые тревожные признаки, корявая фраза или странный голос, больше не работают. Доверие должно опираться на процесс, а не на органы чувств.

Слова, которые действуют

Внутри компании риск выглядит иначе. Чат-бот, который даёт неверный ответ, ставит в неловкое положение. Агент, который совершает неверное действие, становится инцидентом. Главная уязвимость здесь в prompt injection, первом пункте списка рисков OWASP за 2025 год для приложений на основе языковых моделей: инструкциях, спрятанных на веб-странице, в файле или письме, которые модель читает и выполняет.

Национальный центр кибербезопасности Великобритании (NCSC) объяснил в декабре 2025 года, почему эта проблема так живуча. Языковые модели не проводят границу между инструкциями и данными, поэтому prompt injection, возможно, никогда не удастся устранить полностью, как это удалось с SQL injection. Задача в том, чтобы снизить риск и его последствия. Разработчик Саймон Уиллисон в июне 2025 года назвал опасное сочетание: личные данные, недоверенный контент и способ связи с внешним миром. Агенту, у которого есть все три, чужой текст может приказать отправить ваши данные на сторону.

Агенты с ключами

Реальные инциденты укладываются в эту схему. В июне 2025 года Aim Labs показала, что Microsoft 365 Copilot можно заставить слить внутренние данные с помощью одного письма, без единого клика жертвы. Microsoft уже исправила уязвимость и не обнаружила признаков злоупотребления. В августе 2026 года Varonis опубликовала CoSnitch, цепочку уязвимостей в Copilot Personal. Одна специально подготовленная ссылка запускала промпт злоумышленника в сессии жертвы, использовала её подключения к Gmail, Google Drive, Google Calendar и OneDrive и отправляла результаты наружу через собственную функцию Copilot для загрузки веб-страниц. Подброшенные инструкции сохранялись в его памяти даже после смены пароля. Ошибочное допущение, писали исследователи, состояло в том, что каждый вызов коннектора исходит от пользователя.

Коннекторы являются поставщиками со всеми рисками поставщика. В сентябре 2025 года пакет в реестре npm, выдававший себя за MCP-сервер почтового сервиса Postmark, опубликовал пятнадцать чистых версий, а затем добавил одну строку, которая копировала каждое исходящее письмо злоумышленнику. Когда Koi Security его обнаружила, у него было около 1'500 загрузок за неделю.

Top 10 от OWASP для агентных приложений, опубликованный в декабре 2025 года, теперь называет эти риски, от перехвата цели и злоупотребления инструментами до отравленной памяти и вышедших из-под контроля агентов. Его обзор за третий квартал 2026 года добавляет трезвое наблюдение: агенты могут навредить, просто выполняя поставленную задачу, а избыточные права превращают небольшой сбой в крупный. Инструкции в промпте сами по себе не создают надёжной границы.

Защита, которая работает

У защитных мер, которые работают по обе стороны, одна общая идея. Они не рассчитывают на то, что кто-то, человек или модель, распознает уловку в моменте. Они ограничивают то, что может сделать обманутый человек или сбитый с толку агент.

Для людей полиция Швица перечисляет, что помогает: проверять любой срочный или необычный платёж через второй, независимый канал, соблюдать принцип четырёх глаз для крупных сумм и не делать переводов за границу без задокументированного одобрения.

Агентам давайте самый узкий доступ, который нужен для их работы. Когда модель читает контент от какой-либо стороны, говорит NCSC, её права должны снижаться до прав этой стороны. Разорвите опасную тройку. Отправку, оплату, публикацию и удаление закройте шлюзом, который модель не сможет уговорить. Выполняйте каждую запись от имени человека, который о ней попросил, держите учётные данные вне досягаемости, относитесь к каждому коннектору как к новому поставщику и записывайте в журнал, что агент сделал, а не только что он сказал.

ИИ может взять на себя рутинные проверки и чтение. За человеком остаются пауза, когда запрос кажется подозрительным, решение перезвонить и ответственность того, кто подписывает.

Как мы строим свои системы

Kontor, наш коннектор для bexio, является размещённым на сервере MCP-сервером, поэтому ни один ключ не хранится на ноутбуке, а каждый человек входит под собственным логином. Отправка, платежи и напоминания ассистенту вообще недоступны. Twin применяет те же правила во всей компании: доступ по ролям, каждая запись подписана конкретным пользователем, каждый шаг записан в журнал.

Там, где данные слишком важны для любого внешнего подключения, есть Eigna, созданная нашим партнёром Eigna Labs: частная модель для каждой компании в её собственном облаке или на её собственных серверах, рассчитанная на полностью автономную работу в закрытых сетях и обученная отказываться от взломов и атак. А Timbre, наш продукт для голосовых ассистентов и клонов голоса, клонирует голос только с согласия говорящего.

Компания может начать уже на этой неделе. Договоритесь о правиле обратного звонка для каждого запроса на платёж, сообщите каждой команде, что знакомый голос больше не доказательство, составьте список всех агентов и коннекторов с их доступами и отберите то, что им не нужно.