Ассистент на вашем сайте говорит от вашего имени

Всё больше компаний ставят ассистента на свой сайт или в своё приложение. Он отвечает ночью, на любом языке, и у него никогда не кончается терпение. Он также говорит от имени компании, находится в открытом интернете, где кто угодно может ввести в него что угодно, а за ним обычно стоят база данных, набор ключей и подключение к другим системам.

Поэтому это вопрос безопасности, а не только маркетинга. Случаи последних двух лет показывают три пути, которыми всё идёт не так: ассистент обещает то, чего компания никогда не предлагала, его уговаривают сказать то, чего он говорить не должен, и утекают данные, которые стоят за ним.

Он говорит от вашего имени

Чаще всего вспоминают случай Air Canada. После смерти близкого человека пассажир Джейк Моффатт спросил чат-бот на сайте авиакомпании о льготных тарифах. Тот подсказал, что можно купить билет и подать заявку на тариф по случаю утраты уже потом. Правила авиакомпании этого не допускали, и она отказала. В феврале 2024 года перед Трибуналом по разрешению гражданских споров Британской Колумбии Air Canada утверждала, что чат-бот является отдельным юридическим лицом, ответственным за собственные действия. Член трибунала Кристофер Риверс не согласился: чат-бот «всё равно лишь часть сайта Air Canada». Авиакомпании предписали выплатить 812 канадских долларов.

Сумма была небольшой. Принцип нет: то, что ассистент говорит на вашем сайте, сказали вы. В апреле 2025 года создатели редактора кода Cursor усвоили тот же урок публично. Их бот поддержки, подписывавшийся именем Sam, сообщил пользователям, что подпиской нельзя пользоваться на нескольких компьютерах одновременно. Такого правила не было. Сооснователь Майкл Труэлл написал, что ответ дал ИИ-бот поддержки и он был ошибочным, и что ответы ИИ в поддержке по электронной почте теперь чётко помечаются.

Кто угодно может ввести что угодно

В декабре 2023 года пользователь велел ассистенту на сайте дилера Chevrolet в Уотсонвилле, Калифорния, построенному на ChatGPT, соглашаться со всем, что говорит клиент, и заканчивать каждый ответ словами о том, что это юридически обязывающее предложение. Затем он попросил Tahoe 2024 года за один доллар, и бот согласился. Машина никому не досталась, а дилер отключил чат-бот. В январе 2024 года клиент службы доставки DPD добился от её чат-бота ругательств, хайку, в котором бот называл себя бесполезным, и заявления, что DPD худшая служба доставки в мире. DPD сослалась на ошибку после обновления системы и отключила ИИ-компонент.

Это были конфузы. Следующий случай стал дырой в безопасности. В августе 2025 года исследователи Cybernews показали, что ассистента поддержки Lenovo по имени Lena можно заставить выдать вредоносный HTML одним промптом длиной около 400 символов. Код отправлял злоумышленнику сессионные cookie, а с cookie сотрудника поддержки злоумышленник мог войти в систему поддержки под его именем. Lenovo исправила уязвимость. Аналитик Everest Group сформулировал урок: относитесь к чат-ботам как к полноценным приложениям, а не как к пилотным проектам ИИ.

Что стоит за окном чата

Некоторым из худших случаев вообще не понадобился хитрый промпт. Они произошли из-за систем, которые стоят за ассистентом. В конце июня 2025 года исследователи Иэн Кэрролл и Сэм Карри изучили McHire, платформу найма, которую McDonald's использует вместе с Olivia, ассистентом от Paradox.ai. Вход администратора принимал 123456 и как имя пользователя, и как пароль. Дальше достаточно было изменить число в запросе, чтобы открыть записи, которых, по их подсчётам, было более 64 миллионов кандидатов: имена, адреса электронной почты, номера телефонов, домашние адреса и токены для чтения их чатов. Вход перестал работать в течение двух часов после их сообщения.

В августе 2025 года злоумышленники украли токены доступа Drift, чат-инструмента, который компании используют на своих сайтах, и с их помощью выгрузили данные из подключённых к нему систем Salesforce. Группа анализа угроз Google видела, как они искали в украденных данных пароли и облачные ключи. Cloudflare, которая использовала чат-бот Drift на собственном сайте, нашла 104 своих API-токена в обращениях в поддержку, куда их вставили клиенты, и заменила каждый из них.

А в марте 2026 года Security Magazine сообщил, что исследователь Джеремайя Фаулер обнаружил три незащищённые базы данных за ИИ-ассистентом службы поддержки Sears Home Services с 3,7 миллиона записей: журналами чатов, записями звонков и расшифровками, именами, адресами и номерами телефонов. Некоторые записи длились до четырёх часов, потому что линия оставалась открытой после звонка.

Что нужно безопасному ассистенту

Ничто из этого не повод отключать ассистента. Это повод строить его как любое другое приложение, открытое в интернет, с несколькими собственными правилами.

Ограниченные данные. Ассистент видит публичный контент, а после входа только записи того человека, с которым говорит. Проверка того, кто что может видеть, выполняется в ваших системах, а не в модели. OWASP говорит прямо: авторизацию нельзя делегировать языковой модели.

Никаких секретов в зоне досягаемости. Инструкции, стоящие за ассистентом, следует считать публичными, потому что их можно извлечь. Ключам, паролям и данным для подключения в них не место, а токены самого инструмента должны быть узкими и регулярно заменяться.

Жёсткие границы. Цены, скидки, возвраты и обязательства берутся из ваших систем, а не из модели. Ассистент может объяснить правило. Изменить его он не может. Его ответы тоже считаются недоверенными, поэтому он никогда не сможет разместить код на странице.

Ограничители вне модели. Отдельная проверка того, что входит и что выходит, потому что системный промпт с просьбой о хороших манерах является пожеланием, а не контролем.

Аккуратное журналирование. Каждый разговор и каждое действие записываются, чтобы ошибку можно было найти и объяснить. В этих журналах тоже есть персональные данные, поэтому им нужны контроль доступа, шифрование и срок удаления.

Путь к человеку. Когда ассистент не уверен, когда клиент расстроен, когда речь идёт о деньгах или обещании, он передаёт разговор тому, кто может принять решение. ИИ может в любое время суток брать на себя рутинные вопросы. Суждение, добрая воля и ответственность за обещание являются той частью, которую компании стоит оставить за людьми.

Тестирование и маркировка. Попробуйте его сломать до запуска и после каждого обновления, теми уловками, что описаны выше: ролевой игрой, скрытыми инструкциями, просьбами о скидках. И говорите, что это машина. Федеральный уполномоченный Швейцарии по защите данных говорит, что люди имеют право знать, когда имеют дело с машиной, а правила прозрачности Регламента ЕС об ИИ (AI Act), которые требуют того же, действуют с 2 августа 2026 года.

Как мы это строим

Мы строим ассистентов по тем же правилам. Twin, мозг компании, который мы строим для клиентов, отвечает клиенту, указывая как источник фрагмент из руководства, оформляет возврат по собственной политике компании и передаёт разговор человеку, когда не уверен. Доступ выдаётся по ролям, и каждый шаг записывается в журнал.

В Studio, где компания ведёт свой сайт и свой маркетинг, встроена защита от внедрённых инструкций, а её ассистент готовит черновики, пока решает человек. Для данных, которые не должны покидать компанию, Eigna, созданная нашим партнёром Eigna Labs, работает как частная модель в собственном облаке компании или на её собственных серверах и обучена отказываться от взломов и атак.

Компания с ассистентом в сети может начать с пяти вопросов. Что он может видеть? Что он может обещать? До каких секретов он может дотянуться? Кто читает его журналы? И когда кто-то в последний раз пытался его сломать?