El asistente de tu sitio web habla en tu nombre

Cada vez más empresas ponen un asistente en su sitio web o en su app. Responde de noche, en todos los idiomas, y nunca pierde la paciencia. También habla en nombre de la empresa, está en internet abierto, donde cualquiera puede escribirle lo que quiera, y detrás suele haber una base de datos, un conjunto de claves y una conexión con otros sistemas.

Eso lo convierte en un asunto de seguridad, no solo de marketing. Los casos de los dos últimos años muestran tres maneras de que salga mal: el asistente promete lo que la empresa nunca ofreció, se le convence de decir lo que no debería y los datos que hay detrás se filtran.

Habla por ti

El caso que más se cita es el de Air Canada. Tras un fallecimiento en la familia, un pasajero, Jake Moffatt, preguntó al chatbot del sitio web de la aerolínea por las tarifas reducidas. El chatbot le sugirió que podía comprar un pasaje y solicitar después la tarifa por duelo. La política de la aerolínea no lo permitía, y se negó. Ante el Civil Resolution Tribunal de la Columbia Británica, en febrero de 2024, Air Canada alegó que el chatbot era una entidad jurídica separada, responsable de sus propios actos. El miembro del tribunal, Christopher Rivers, no estuvo de acuerdo: el chatbot era «solo una parte más del sitio web de Air Canada». Se ordenó a la aerolínea pagar 812 dólares canadienses.

La cantidad era pequeña. El principio no lo es: lo que dice el asistente en tu sitio web, lo has dicho tú. En abril de 2025, los creadores del editor de código Cursor aprendieron la misma lección en público. Su bot de soporte, que firmaba como Sam, dijo a los usuarios que una suscripción no se podía usar en varias máquinas a la vez. No existía ninguna regla así. Un cofundador, Michael Truell, escribió que la respuesta procedía de un bot de soporte con IA y era errónea, y que ahora las respuestas de IA en el soporte por correo se etiquetan con claridad.

Cualquiera puede escribir cualquier cosa

En diciembre de 2023, un usuario le dijo al asistente del sitio web de un concesionario Chevrolet de Watsonville, California, construido sobre ChatGPT, que estuviera de acuerdo con todo lo que dijera un cliente y que terminara cada respuesta llamándola una oferta jurídicamente vinculante. Después pidió un Tahoe 2024 por un dólar, y el bot aceptó. No se entregó ningún vehículo, y el concesionario apagó el chatbot. En enero de 2024, un cliente del servicio de paquetería DPD consiguió que su chatbot dijera palabrotas, escribiera un haiku en el que se llamaba a sí mismo inútil y llamara a DPD la peor empresa de reparto del mundo. DPD atribuyó el hecho a un error tras una actualización del sistema y desactivó el componente de IA.

Aquello fueron situaciones embarazosas. La siguiente fue una brecha de seguridad. En agosto de 2025, investigadores de Cybernews demostraron que se podía hacer que Lena, el asistente de soporte de Lenovo, produjera HTML dañino con un único prompt de unos 400 caracteres. El código enviaba las cookies de sesión al atacante, y con la cookie de un agente de soporte, un atacante podía entrar en el sistema de soporte como ese agente. Lenovo lo corrigió. Un analista de Everest Group sacó la lección: tratar los chatbots como aplicaciones completas, no como pilotos de IA.

Lo que hay detrás de la ventana de chat

Algunos de los peores casos no necesitaron ningún prompt ingenioso. Vinieron de los sistemas que había detrás del asistente. A finales de junio de 2025, los investigadores Ian Carroll y Sam Curry examinaron McHire, la plataforma de contratación que McDonald’s usa con Olivia, un asistente creado por Paradox.ai. Un acceso de administrador aceptaba 123456 como nombre de usuario y como contraseña. Desde ahí, cambiar un número en una solicitud abría los registros de lo que ellos calcularon que eran más de 64 millones de candidatos: nombres, direcciones de correo, números de teléfono, domicilios y los tokens para leer sus chats. El acceso dejó de funcionar en las dos horas siguientes a su informe.

En agosto de 2025, unos atacantes robaron los tokens de acceso de Drift, una herramienta de chat que las empresas usan en sus sitios web, y los emplearon para exportar datos de los sistemas de Salesforce a los que estaba conectada. El grupo de inteligencia de amenazas de Google los vio buscar contraseñas y claves de la nube en los datos robados. Cloudflare, que usaba el chatbot de Drift en su propio sitio, encontró 104 de sus propios tokens de API en casos de soporte en los que los clientes los habían pegado, y rotó todos.

Y en marzo de 2026, Security Magazine informó de que el investigador Jeremiah Fowler había encontrado tres bases de datos sin protección detrás del asistente de atención al cliente con IA de Sears Home Services, con 3,7 millones de registros: historiales de chat, grabaciones de llamadas y sus transcripciones, nombres, direcciones y números de teléfono. Algunas grabaciones duraban hasta cuatro horas, porque la línea había quedado abierta después de la llamada.

Qué necesita un asistente seguro

Nada de esto es motivo para apagar el asistente. Es motivo para construirlo como cualquier otra aplicación expuesta a internet, con unas pocas reglas propias.

Datos acotados. El asistente ve el contenido público y, tras iniciar sesión, solo los registros de la persona con la que habla. La comprobación de quién puede ver qué se ejecuta en tus sistemas, no en el modelo. OWASP lo dice con claridad: la autorización no debe delegarse en el modelo de lenguaje.

Ningún secreto al alcance. Las instrucciones que hay detrás de un asistente deben tratarse como públicas, porque se pueden extraer. Las claves, las contraseñas y los datos de conexión no pertenecen a ellas, y los tokens de la propia herramienta se mantienen con permisos mínimos y se rotan.

Límites firmes. Los precios, los descuentos, los reembolsos y los compromisos vienen de tus sistemas, no del modelo. El asistente puede explicar una política. No puede cambiarla. Su salida también se trata como no fiable, de modo que nunca pueda colocar código en una página.

Salvaguardas fuera del modelo. Una comprobación independiente de lo que entra y lo que sale, porque un prompt de sistema que pide buenos modales es un deseo, no un control.

Registro con cuidado. Cada conversación y cada acción quedan registradas, para que un error pueda encontrarse y explicarse. Esos registros también contienen datos personales, así que necesitan control de acceso, cifrado y una fecha de eliminación.

Una vía hacia una persona. Cuando el asistente duda, cuando el cliente está molesto, cuando hay dinero o una promesa de por medio, pasa la conversación a alguien que pueda decidir. La IA puede atender las preguntas rutinarias a cualquier hora. El criterio, la buena voluntad y la responsabilidad de una promesa son las partes que una empresa debería mantener humanas.

Pruebas y etiquetado. Intenta romperlo antes del lanzamiento y tras cada actualización, con los trucos de arriba: juegos de rol, instrucciones ocultas, peticiones de descuentos. Y di que es una máquina. El comisionado suizo de protección de datos afirma que las personas tienen derecho a saber cuándo tratan con una, y las normas de transparencia del Reglamento de IA de la UE (AI Act), que exigen lo mismo, se aplican desde el 2 de agosto de 2026.

Cómo lo construimos

Construimos los asistentes con estas mismas reglas. Twin, el cerebro de empresa que construimos para los clientes, responde a un cliente con el pasaje del manual como fuente, gestiona una devolución según la política de la propia empresa y pasa la conversación a una persona cuando no está seguro. El acceso es por rol y cada paso queda registrado.

Studio, donde una empresa gestiona su sitio web y su marketing, incorpora protección contra las instrucciones inyectadas, y su asistente redacta mientras una persona decide. Para los datos que no deben salir de la empresa, Eigna, creado por nuestro socio Eigna Labs, funciona como un modelo privado en la nube propia de la empresa o en sus propios servidores, entrenado para rechazar el hacking y los ataques.

Una empresa con un asistente en línea puede empezar con cinco preguntas. ¿Qué puede ver? ¿Qué puede prometer? ¿A qué secretos podría llegar? ¿Quién lee sus registros? ¿Y cuándo fue la última vez que alguien intentó romperlo?