Assistenten på din webbplats talar å dina vägnar

Allt fler företag sätter en assistent på sin webbplats eller i sin app. Den svarar på natten, på alla språk, och tappar aldrig tålamodet. Den talar också i företagets namn, den sitter på det öppna internet där vem som helst kan skriva vad som helst till den, och bakom den finns oftast en databas, en uppsättning nycklar och en koppling till andra system.

Det gör den till en säkerhetsfråga och inte bara en marknadsföringsfråga. Fallen under de senaste två åren visar tre sätt som det går fel på: assistenten lovar det företaget aldrig erbjudit, den övertalas att säga det den inte borde, och datan bakom den läcker.

Den talar för dig

Det mest citerade fallet är Air Canada. Efter ett dödsfall i familjen frågade en passagerare, Jake Moffatt, flygbolagets chattbot på webbplatsen om nedsatta priser. Den föreslog att han kunde köpa en biljett och ansöka om sorgebiljettpris i efterhand. Flygbolagets regler tillät inte det, och bolaget vägrade. Inför Civil Resolution Tribunal i British Columbia i februari 2024 hävdade Air Canada att chattboten var en egen juridisk person som ansvarade för sina handlingar. Tribunalens ledamot Christopher Rivers höll inte med: chattboten var ”fortfarande bara en del av Air Canadas webbplats”. Flygbolaget dömdes att betala 812 kanadensiska dollar.

Beloppet var litet. Principen är det inte: det din assistent säger på din webbplats har du sagt. I april 2025 fick makarna av kodeditorn Cursor lära sig samma läxa offentligt. Deras supportbot, som skrev under som Sam, berättade för användare att ett abonnemang inte kunde användas på flera maskiner samtidigt. Någon sådan regel fanns inte. Medgrundaren Michael Truell skrev att svaret kom från en AI-supportbot och var fel, och att AI-svar i e-postsupporten nu märks tydligt.

Vem som helst kan skriva vad som helst

I december 2023 sa en användare åt assistenten på en Chevrolet-handlares webbplats i Watsonville i Kalifornien, byggd på ChatGPT, att hålla med om allt en kund säger och att avsluta varje svar med att kalla det ett juridiskt bindande erbjudande. Sedan bad han om en Tahoe av 2024 års modell för en dollar, och boten gick med på det. Ingen bil bytte ägare, och handlaren stängde av chattboten. I januari 2024 fick en kund hos paketföretaget DPD dess chattbot att svära, att skriva en haiku där den kallade sig själv värdelös och att kalla DPD världens sämsta leveransföretag. DPD skyllde på ett fel efter en systemuppdatering och stängde av AI-delen.

Det där var pinsamheter. Nästa fall var ett säkerhetshål. I augusti 2025 visade forskare vid Cybernews att Lenovos supportassistent Lena kunde förmås att producera skadlig HTML med en enda prompt på omkring 400 tecken. Koden skickade sessionscookies till angriparen, och med en supportmedarbetares cookie kunde en angripare logga in i supportsystemet som den medarbetaren. Lenovo åtgärdade felet. En analytiker vid Everest Group drog slutsatsen: behandla chattbottar som fullvärdiga applikationer, inte som AI-pilotprojekt.

Vad som finns bakom chattfönstret

Några av de värsta fallen krävde ingen listig prompt alls. De kom från systemen bakom assistenten. I slutet av juni 2025 granskade forskarna Ian Carroll och Sam Curry McHire, rekryteringsplattformen som McDonald’s använder med Olivia, en assistent från Paradox.ai. En administratörsinloggning godtog 123456 som både användarnamn och lösenord. Därifrån räckte det att ändra ett nummer i en förfrågan för att öppna uppgifterna om vad de räknade till fler än 64 miljoner sökande: namn, e-postadresser, telefonnummer, hemadresser och de tokens som behövdes för att läsa deras chattar. Inloggningen slutade fungera inom två timmar efter deras rapport.

I augusti 2025 stal angripare åtkomsttokens från Drift, ett chattverktyg som företag kör på sina webbplatser, och använde dem för att exportera data ur de Salesforce-system som det var kopplat till. Googles hotunderrättelsegrupp såg dem söka igenom den stulna datan efter lösenord och molnnycklar. Cloudflare, som använde Drift-chattboten på sin egen webbplats, hittade 104 av sina API-tokens i supportärenden där kunder hade klistrat in dem, och roterade varenda en.

Och i mars 2026 rapporterade Security Magazine att forskaren Jeremiah Fowler hade hittat tre oskyddade databaser bakom AI-kundtjänstassistenten hos Sears Home Services, med 3,7 miljoner poster: chattloggar, samtalsinspelningar och transkriptioner, namn, adresser och telefonnummer. Vissa inspelningar pågick i upp till fyra timmar, eftersom linjen hade stått öppen efter samtalet.

Vad en säker assistent behöver

Inget av detta är ett skäl att stänga av assistenten. Det är ett skäl att bygga den som vilken annan applikation som helst som vetter mot internet, med några egna regler.

Avgränsad data. Assistenten ser offentligt innehåll och, efter inloggning, bara uppgifterna om den person den pratar med. Kontrollen av vem som får se vad körs i dina system, inte i modellen. OWASP säger det rakt ut: behörighetsstyrning får inte överlåtas åt språkmodellen.

Inga hemligheter inom räckhåll. Instruktionerna bakom en assistent bör behandlas som offentliga, eftersom de går att locka fram. Nycklar, lösenord och anslutningsuppgifter hör inte hemma i dem, och verktygets egna tokens hålls snäva och roteras.

Fasta gränser. Priser, rabatter, återbetalningar och åtaganden kommer från dina system, inte från modellen. Assistenten får förklara en policy. Den får inte ändra en. Dess utdata behandlas också som opålitlig, så att den aldrig kan lägga kod i en sida.

Skyddsräcken utanför modellen. En separat kontroll av det som går in och det som kommer ut, eftersom en systemprompt som ber om gott uppförande är ett önskemål, inte en kontroll.

Loggning med omsorg. Varje samtal och varje åtgärd registreras, så att ett misstag kan hittas och förklaras. De loggarna innehåller också personuppgifter, så de behöver åtkomstkontroll, kryptering och ett raderingsdatum.

En väg till en människa. När assistenten är osäker, när kunden är upprörd, när pengar eller ett löfte är inblandade lämnar den över till någon som kan avgöra. AI kan ta de rutinmässiga frågorna när som helst på dygnet. Omdöme, välvilja och ansvaret för ett löfte är de delar som ett företag bör hålla mänskliga.

Testning och märkning. Försök bryta den före lansering och efter varje uppdatering, med knepen ovan: rollspel, dolda instruktioner, krav på rabatter. Och säg att det är en maskin. Schweiz dataskyddsombud säger att människor har rätt att veta när de har att göra med en, och transparensreglerna i EU:s AI Act, som kräver detsamma, gäller sedan den 2 augusti 2026.

Så bygger vi den

Vi bygger assistenter efter samma regler. Twin, företagshjärnan vi bygger åt kunder, svarar en kund med stycket ur manualen som källa, hanterar en retur enligt företagets egen policy och lämnar över samtalet till en människa när den är osäker. Åtkomsten styrs av roll, och varje steg loggas.

Studio, där ett företag driver sin webbplats och sin marknadsföring, har skydd mot insprutade instruktioner inbyggt, och dess assistent skriver utkast medan en människa avgör. För data som inte får lämna företaget körs Eigna, byggt av vår partner Eigna Labs, som en privat modell i företagets egen molntjänst eller på dess egna servrar, tränad att vägra hackning och attacker.

Ett företag med en assistent på nätet kan börja med fem frågor. Vad kan den se? Vad kan den lova? Vilka hemligheter skulle den kunna nå? Vem läser dess loggar? Och när försökte någon senast bryta sig in i den?