L’assistente sul vostro sito parla a nome vostro

Sempre più aziende mettono un assistente sul proprio sito web o nella propria app. Risponde di notte, in ogni lingua, e non perde mai la pazienza. Parla anche a nome dell’azienda, sta su internet aperto dove chiunque può scrivergli qualsiasi cosa, e dietro di lui ci sono di solito un database, un mazzo di chiavi e un collegamento ad altri sistemi.

Questo ne fa una questione di sicurezza, non solo di marketing. I casi degli ultimi due anni mostrano tre modi in cui può andare storto: l’assistente promette ciò che l’azienda non ha mai offerto, si lascia convincere a dire ciò che non dovrebbe, e i dati che ha dietro trapelano.

Parla per voi

Il caso citato più spesso è Air Canada. Dopo un lutto, un passeggero, Jake Moffatt, ha chiesto al chatbot del sito della compagnia aerea informazioni sulle tariffe ridotte. Il chatbot gli ha suggerito di acquistare il biglietto e di richiedere la tariffa per lutto in un secondo momento. La politica della compagnia non lo consentiva, e la richiesta è stata respinta. Davanti al Civil Resolution Tribunal della Columbia Britannica, nel febbraio 2024, Air Canada ha sostenuto che il chatbot fosse un’entità giuridica distinta, responsabile delle proprie azioni. Il membro del tribunale, Christopher Rivers, non era d’accordo: il chatbot era «pur sempre una parte del sito web di Air Canada». La compagnia è stata condannata a pagare 812 dollari canadesi.

La somma era piccola. Il principio no: ciò che l’assistente dice sul vostro sito, l’avete detto voi. Nell’aprile 2025 i creatori dell’editor di codice Cursor hanno imparato la stessa lezione in pubblico. Il loro bot di assistenza, che firmava come Sam, ha detto agli utenti che un abbonamento non poteva essere usato su più computer contemporaneamente. Quella regola non esisteva. Un cofondatore, Michael Truell, ha scritto che la risposta veniva da un bot di assistenza basato su IA e che era sbagliata, e che ora le risposte dell’IA nell’assistenza via e-mail sono chiaramente etichettate.

Chiunque può scrivere qualsiasi cosa

Nel dicembre 2023 un utente ha detto all’assistente del sito di una concessionaria Chevrolet di Watsonville, in California, costruito su ChatGPT, di essere d’accordo con tutto ciò che dice un cliente e di chiudere ogni risposta definendola un’offerta giuridicamente vincolante. Poi ha chiesto una Tahoe 2024 per un dollaro, e il bot ha accettato. Nessuna auto è passata di mano, e la concessionaria ha spento il chatbot. Nel gennaio 2024 un cliente del servizio pacchi DPD ha fatto dire parolacce al chatbot dell’azienda, gli ha fatto scrivere un haiku in cui si definiva inutile e gli ha fatto definire DPD la peggiore azienda di consegne del mondo. DPD ha attribuito il problema a un errore dopo un aggiornamento di sistema e ha disattivato l’elemento di IA.

Si trattava di figuracce. La successiva è stata una falla di sicurezza. Nell’agosto 2025 i ricercatori di Cybernews hanno mostrato che l’assistente di supporto di Lenovo, Lena, poteva essere indotto a produrre HTML dannoso con un solo prompt di circa 400 caratteri. Il codice inviava all’aggressore i cookie di sessione, e con il cookie di un operatore del supporto un aggressore poteva accedere al sistema di assistenza come quell’operatore. Lenovo ha risolto il problema. Un analista di Everest Group ne ha tratto la lezione: trattare i chatbot come applicazioni a tutti gli effetti, non come progetti pilota di IA.

Che cosa c’è dietro la finestra di chat

Alcuni dei casi peggiori non hanno richiesto alcun prompt astuto. Venivano dai sistemi dietro l’assistente. Alla fine di giugno 2025 i ricercatori Ian Carroll e Sam Curry hanno esaminato McHire, la piattaforma di selezione del personale che McDonald’s usa con Olivia, un assistente realizzato da Paradox.ai. Un accesso da amministratore accettava 123456 sia come nome utente sia come password. Da lì, cambiando un numero in una richiesta, si aprivano le schede di quelli che hanno calcolato in più di 64 milioni di candidati: nomi, indirizzi e-mail, numeri di telefono, indirizzi di casa e i token per leggere le loro chat. L’accesso ha smesso di funzionare entro due ore dalla loro segnalazione.

Nell’agosto 2025 degli aggressori hanno rubato i token di accesso di Drift, uno strumento di chat che le aziende usano sui propri siti, e li hanno usati per esportare dati dai sistemi Salesforce a cui era collegato. Il gruppo di threat intelligence di Google li ha visti cercare nei dati rubati password e chiavi cloud. Cloudflare, che usava il chatbot di Drift sul proprio sito, ha trovato 104 dei propri token API in casi di assistenza in cui i clienti li avevano incollati, e li ha ruotati tutti.

E nel marzo 2026 Security Magazine ha riferito che il ricercatore Jeremiah Fowler aveva trovato tre database non protetti dietro l’assistente di assistenza clienti basato su IA di Sears Home Services, con 3,7 milioni di record: registri delle chat, registrazioni delle chiamate e trascrizioni, nomi, indirizzi e numeri di telefono. Alcune registrazioni duravano fino a quattro ore, perché la linea era rimasta aperta dopo la chiamata.

Che cosa serve a un assistente sicuro

Niente di tutto questo è un motivo per spegnere l’assistente. È un motivo per costruirlo come qualsiasi altra applicazione esposta a internet, con alcune regole proprie.

Dati circoscritti. L’assistente vede i contenuti pubblici e, dopo l’accesso, solo i dati della persona con cui parla. Il controllo su chi può vedere che cosa gira nei vostri sistemi, non nel modello. OWASP lo dice chiaramente: l’autorizzazione non deve essere delegata al modello linguistico.

Nessun segreto a portata di mano. Le istruzioni che stanno dietro un assistente vanno trattate come pubbliche, perché possono essere estratte. Chiavi, password e dettagli di connessione non vi appartengono, e i token dello strumento stesso si tengono ristretti e si ruotano.

Limiti fermi. Prezzi, sconti, rimborsi e impegni vengono dai vostri sistemi, non dal modello. L’assistente può spiegare una policy. Non può cambiarla. Anche il suo output è trattato come non fidato, così che non possa mai inserire codice in una pagina.

Protezioni fuori dal modello. Un controllo separato su ciò che entra e su ciò che esce, perché un prompt di sistema che chiede buone maniere è un desiderio, non un controllo.

Registri tenuti con cura. Ogni conversazione e ogni azione sono registrate, così che un errore si possa trovare e spiegare. Anche questi registri contengono dati personali, quindi servono controllo degli accessi, cifratura e una data di cancellazione.

Una via verso una persona. Quando l’assistente è incerto, quando il cliente è irritato, quando sono in gioco denaro o una promessa, passa la mano a qualcuno che può decidere. L’IA può prendersi le domande di routine a qualsiasi ora. Il giudizio, la buona volontà e la responsabilità di una promessa sono le parti che un’azienda dovrebbe mantenere umane.

Test ed etichettatura. Provate a forzarlo prima del lancio e dopo ogni aggiornamento, con i trucchi visti sopra: giochi di ruolo, istruzioni nascoste, richieste di sconti. E dite che è una macchina. L’Incaricato federale della protezione dei dati e della trasparenza afferma che le persone hanno il diritto di sapere quando hanno a che fare con una macchina, e le regole di trasparenza dell’AI Act dell’UE, che richiedono lo stesso, si applicano dal 2 agosto 2026.

Come lo costruiamo

Costruiamo gli assistenti con le stesse regole. Twin, il cervello aziendale che costruiamo per i clienti, risponde a un cliente citando come fonte il passaggio del manuale, gestisce un reso secondo la policy dell’azienda stessa e passa la conversazione a una persona quando non è sicuro. L’accesso è per ruolo e ogni passo viene registrato.

Studio, dove un’azienda gestisce il proprio sito web e il proprio marketing, ha integrata la protezione contro l’iniezione di istruzioni, e il suo assistente prepara bozze mentre una persona decide. Per i dati che non devono lasciare l’azienda, Eigna, sviluppato dal nostro partner Eigna Labs, gira come modello privato nel cloud dell’azienda o sui suoi server, addestrato a rifiutare hacking e attacchi.

Un’azienda con un assistente online può cominciare da cinque domande. Che cosa può vedere? Che cosa può promettere? A quali segreti potrebbe arrivare? Chi legge i suoi registri? E quando qualcuno ha provato l’ultima volta a forzarlo?