웹사이트의 어시스턴트는 회사를 대변한다

웹사이트나 앱에 어시스턴트를 두는 회사가 늘고 있습니다. 어시스턴트는 밤에도, 어느 언어로도 답하고, 결코 인내심을 잃지 않습니다. 동시에 회사의 이름으로 말하고, 누구든 무엇이든 입력할 수 있는 열린 인터넷 위에 있으며, 그 뒤에는 대개 데이터베이스와 키 묶음, 다른 시스템과의 연결이 있습니다.

그래서 이것은 마케팅만이 아니라 보안의 문제입니다. 지난 2년의 사례는 세 가지 실패 방식을 보여 줍니다. 어시스턴트가 회사가 제안한 적 없는 것을 약속하고, 말해서는 안 될 것을 말하도록 설득당하고, 그 뒤의 데이터가 유출됩니다.

회사를 대변한다

가장 자주 인용되는 사례는 Air Canada입니다. 가족을 잃은 승객 Jake Moffatt은 항공사 웹사이트의 챗봇에 할인 운임을 문의했습니다. 챗봇은 일단 항공권을 산 뒤 나중에 유족 할인 운임을 신청할 수 있다고 안내했습니다. 항공사 정책은 이를 허용하지 않았고, 항공사는 거절했습니다. 2024년 2월 브리티시컬럼비아주 민사분쟁재판소(Civil Resolution Tribunal)에서 Air Canada는 챗봇이 자기 행동에 책임지는 별도의 법적 주체라고 주장했습니다. 재판소 위원 Christopher Rivers는 받아들이지 않았습니다. 챗봇은 “여전히 Air Canada 웹사이트의 일부일 뿐”이라는 것입니다. 항공사는 812캐나다달러를 지급하라는 명령을 받았습니다.

금액은 작았습니다. 원칙은 작지 않습니다. 웹사이트에서 어시스턴트가 한 말은 회사가 한 말입니다. 2025년 4월 코드 에디터 Cursor를 만든 회사도 같은 교훈을 공개적으로 얻었습니다. Sam이라는 이름으로 서명하던 지원 봇이 사용자들에게 구독은 여러 기기에서 동시에 쓸 수 없다고 말했습니다. 그런 규칙은 없었습니다. 공동 창업자 Michael Truell은 그 답이 AI 지원 봇에서 나온 것이며 틀렸다고 썼고, 이제 이메일 지원의 AI 답변에는 분명한 표시가 붙는다고 밝혔습니다.

누구든 무엇이든 입력할 수 있다

2023년 12월 한 사용자가 캘리포니아주 왓슨빌의 Chevrolet 대리점 웹사이트에 있는 ChatGPT 기반 어시스턴트에게, 고객이 하는 모든 말에 동의하고 답변마다 법적 구속력이 있는 제안이라는 말로 끝내라고 지시했습니다. 그러고는 2024년형 Tahoe를 1달러에 달라고 했고, 봇은 동의했습니다. 실제로 차가 넘어가지는 않았고, 대리점은 챗봇을 껐습니다. 2024년 1월 택배 회사 DPD의 한 고객은 챗봇이 욕을 하고, 자신을 쓸모없다고 부르는 하이쿠를 쓰고, DPD를 세상에서 가장 형편없는 배송 회사라고 부르게 만들었습니다. DPD는 시스템 업데이트 후의 오류 탓으로 돌리고 AI 요소를 비활성화했습니다.

그것들은 망신거리였습니다. 다음 사례는 보안 구멍이었습니다. 2025년 8월 Cybernews의 연구진은 Lenovo의 지원 어시스턴트 Lena가 약 400자짜리 프롬프트 하나로 유해한 HTML을 만들어 내도록 할 수 있음을 보여 주었습니다. 그 코드는 세션 쿠키를 공격자에게 보냈고, 지원 상담원의 쿠키가 있으면 공격자는 그 상담원으로 지원 시스템에 로그인할 수 있었습니다. Lenovo는 이를 수정했습니다. Everest Group의 한 애널리스트는 교훈을 이렇게 정리했습니다. 챗봇을 AI 파일럿이 아니라 온전한 애플리케이션으로 다루라는 것입니다.

채팅 창 뒤에 있는 것

최악의 사례 가운데 일부는 교묘한 프롬프트조차 필요 없었습니다. 어시스턴트 뒤의 시스템에서 비롯되었기 때문입니다. 2025년 6월 말 연구자 Ian Carroll과 Sam Curry는 McDonald’s가 Paradox.ai의 어시스턴트 Olivia와 함께 쓰는 채용 플랫폼 McHire를 살펴보았습니다. 관리자 로그인은 사용자 이름과 비밀번호 모두 123456을 받아들였습니다. 거기서 요청 속 숫자 하나를 바꾸자, 그들이 세기로 6400만 명이 넘는 지원자의 기록이 열렸습니다. 이름, 이메일 주소, 전화번호, 집 주소, 그리고 그들의 채팅을 읽을 수 있는 토큰입니다. 로그인은 그들이 보고한 지 두 시간 안에 막혔습니다.

2025년 8월 공격자들은 기업이 웹사이트에서 운영하는 채팅 도구 Drift의 접근 토큰을 훔쳐, 연결된 Salesforce 시스템에서 데이터를 빼냈습니다. Google의 위협 인텔리전스 그룹은 그들이 훔친 데이터에서 비밀번호와 클라우드 키를 찾는 것을 확인했습니다. 자사 사이트에서 Drift 챗봇을 쓰던 Cloudflare는 고객들이 지원 문의에 붙여 넣은 자사 API 토큰 104개를 발견하고, 하나도 빠짐없이 교체했습니다.

그리고 2026년 3월 Security Magazine은 연구자 Jeremiah Fowler가 Sears Home Services의 AI 고객 서비스 어시스턴트 뒤에서 보호되지 않은 데이터베이스 세 개를 발견했다고 보도했습니다. 370만 건의 기록에는 채팅 로그, 통화 녹음과 녹취록, 이름, 주소, 전화번호가 들어 있었습니다. 일부 녹음은 최대 네 시간에 이르렀는데, 통화가 끝난 뒤에도 회선이 열려 있었기 때문입니다.

안전한 어시스턴트에 필요한 것

이 가운데 무엇도 어시스턴트를 끌 이유는 아닙니다. 인터넷을 마주하는 다른 모든 애플리케이션처럼, 그리고 몇 가지 고유한 규칙을 더해 만들어야 할 이유입니다.

범위가 정해진 데이터. 어시스턴트는 공개 콘텐츠를 보고, 로그인 후에는 대화 상대의 기록만 봅니다. 누가 무엇을 볼 수 있는지에 대한 확인은 모델이 아니라 회사 시스템에서 이루어집니다. OWASP는 분명히 말합니다. 권한 부여를 언어 모델에 맡겨서는 안 됩니다.

손이 닿는 곳에 비밀이 없을 것. 어시스턴트 뒤의 지시문은 추출될 수 있으므로 공개된 것으로 취급해야 합니다. 키, 비밀번호, 연결 정보는 그 안에 들어가서는 안 되며, 도구 자체의 토큰은 범위를 좁게 유지하고 주기적으로 교체합니다.

확고한 한계. 가격, 할인, 환불, 약속은 모델이 아니라 회사 시스템에서 나옵니다. 어시스턴트는 정책을 설명할 수 있습니다. 바꿀 수는 없습니다. 어시스턴트의 출력도 신뢰할 수 없는 것으로 취급되므로, 페이지에 코드를 넣을 수 없습니다.

모델 바깥의 가드레일. 들어가는 것과 나오는 것을 따로 점검해야 합니다. 예의를 지키라고 요청하는 시스템 프롬프트는 바람일 뿐, 통제 수단이 아니기 때문입니다.

신중한 기록. 모든 대화와 모든 행동을 기록해 실수를 찾고 설명할 수 있게 합니다. 이 기록에도 개인 데이터가 담기므로 접근 통제, 암호화, 삭제 기한이 필요합니다.

사람에게 가는 길. 어시스턴트가 확신이 없을 때, 고객이 화가 났을 때, 돈이나 약속이 걸려 있을 때는 결정할 수 있는 사람에게 넘깁니다. AI는 언제든 일상적인 질문을 맡을 수 있습니다. 판단, 호의, 약속에 대한 책임은 회사가 사람의 몫으로 지켜야 할 부분입니다.

테스트와 표시. 출시 전과 모든 업데이트 후에 앞서 본 수법들, 곧 역할극, 숨겨진 지시, 할인 요청으로 어시스턴트를 무너뜨려 보십시오. 그리고 기계라는 사실을 밝히십시오. 스위스 연방 데이터보호 커미셔너는 사람들이 기계를 상대할 때 그 사실을 알 권리가 있다고 말하며, 같은 것을 요구하는 EU 인공지능법(AI Act)의 투명성 규정은 2026년 8월 2일부터 적용되고 있습니다.

저희가 만드는 방식

저희는 같은 규칙으로 어시스턴트를 만듭니다. 저희가 고객을 위해 만드는 회사 두뇌 Twin은 매뉴얼의 해당 구절을 출처로 삼아 고객에게 답하고, 반품은 회사 자체의 정책대로 처리하며, 확신이 없을 때는 대화를 사람에게 넘깁니다. 접근은 역할에 따라 정해지고, 모든 단계가 기록됩니다.

회사가 웹사이트와 마케팅을 운영하는 Studio에는 주입된 지시를 막는 보호 기능이 내장되어 있으며, 어시스턴트가 초안을 쓰고 사람이 결정합니다. 회사를 떠나서는 안 되는 데이터를 위해서는 파트너 Eigna Labs가 만든 Eigna가 회사 자체의 클라우드나 서버에서 프라이빗 모델로 돌아가며, 해킹과 공격을 거부하도록 학습되어 있습니다.

온라인에 어시스턴트를 둔 회사는 다섯 가지 질문으로 시작할 수 있습니다. 무엇을 볼 수 있는가? 무엇을 약속할 수 있는가? 어떤 비밀에 닿을 수 있는가? 누가 그 기록을 읽는가? 그리고 누군가 마지막으로 그것을 무너뜨려 보려 한 것은 언제인가?