이제 보안의 양쪽에 모두 AI가 있다

2026년 1월 슈비츠 주 경찰은 몇 년 전이라면 소설처럼 들렸을 사건을 발표했습니다. 2주에 걸쳐 범죄자들이 그 지역 한 회사의 소유주에게 전화를 걸어, AI로 조작한 목소리로 그가 아는 사업 파트너 행세를 했습니다. 기밀 국제 거래라는 명목 아래 그는 아시아의 한 계좌로 수백만 프랑에 달하는 돈을 여러 차례 송금했습니다. 사기는 돈이 빠져나간 뒤에야 드러났습니다.

이것이 오늘날 보안의 한쪽 면, 곧 AI를 쓰는 공격자입니다. 다른 한쪽은 회사 안에 있습니다. 에이전트가 이메일을 읽고, 열쇠를 쥐고, 무언가를 밖으로 보내는 곳입니다. 회사는 양쪽 모두에 대비해야 합니다. 저희는 저희 업무와 고객을 위해 에이전트를 만들기 때문에, 어느 쪽도 저희에게 추상적인 이야기가 아닙니다.

익숙한 목소리

슈비츠 사건만이 아닙니다. 2025년 2월 Reuters는 사기범들이 이탈리아 국방부 장관 Guido Crosetto의 목소리를 복제해, 납치된 기자들을 풀어 주는 데 필요하다며 기업인들에게 돈을 요구했다고 보도했습니다. Inter Milan의 전 구단주 Massimo Moratti는 100만 유로 가까이를 보냈고, 그 뒤 경찰이 이 돈을 네덜란드의 한 계좌까지 추적해 동결했습니다.

FBI는 이제 이런 사건을 따로 집계합니다. FBI의 2025년 인터넷 범죄 보고서에는 AI가 언급된 신고가 22'000건이 넘고 조정된 피해액이 8억 9300만 달러를 넘는다고 적혀 있으며, 많은 피해자가 AI가 어디까지 관여했는지 깨닫지 못한다고 덧붙입니다. 기업들은 설득력 있는 메시지나 복제된 목소리로 송금을 요구하는, AI 요소가 들어간 이메일 사기로 3000만 달러 넘게 잃었습니다. FBI는 또 위조된 목소리, 어쩌면 딥페이크로 진행된 채용 면접도 설명하는데, 대개 회사 네트워크에 접근하려는 목적입니다.

오타 없는 피싱

글로 하는 공격도 그만큼 달라졌습니다. Microsoft의 Digital Defense Report 2025에 따르면 AI로 자동화한 피싱 이메일은 54퍼센트의 확률로 클릭된 반면, 일반 피싱 이메일은 12퍼센트였습니다. EU 사이버보안청 ENISA는 2025년 10월, 2025년 초까지 전 세계에서 관찰된 사회공학 활동의 80퍼센트 이상을 AI 지원 피싱이 차지한 것으로 알려졌다고 썼습니다.

공격자는 침입 자체에도 AI를 씁니다. 2025년 11월 Anthropic은 중국의 국가 지원 그룹 소행으로 높은 확신을 갖고 판단한 공격 캠페인을 보고했습니다. 이 그룹은 약 서른 개 조직을 상대로 Claude Code를 사용했고, 작업의 80~90퍼센트를 AI에 맡겼습니다. 성공한 경우는 소수였습니다. OWASP의 2026년 1분기 정리에는 공격자들이 Claude와 때로는 ChatGPT를 사용한 것으로 알려진 멕시코 정부 기관 침해 사건이 더해졌습니다.

어색한 문장이나 이상한 목소리 같은 예전의 경고 신호는 더 이상 통하지 않습니다. 신뢰는 감각이 아니라 절차에서 나와야 합니다.

행동하는 말

회사 안에서는 위험이 다른 모습을 띱니다. 틀린 답을 하는 챗봇은 망신거리입니다. 틀린 행동을 하는 에이전트는 사고입니다. 핵심 약점은 프롬프트 인젝션으로, 언어 모델 기반 애플리케이션의 위험을 정리한 OWASP 2025년 목록에서 첫 번째로 꼽혔습니다. 웹 페이지, 파일, 이메일 속에 숨겨진 지시를 모델이 읽고 따르는 것입니다.

영국 국가사이버보안센터(NCSC)는 2025년 12월 이 문제가 왜 그렇게 끈질긴지 설명했습니다. 언어 모델은 지시와 데이터 사이에 경계를 강제하지 않기 때문에, 프롬프트 인젝션은 SQL 인젝션처럼 완전히 막을 수 없을지도 모릅니다. 해야 할 일은 위험과 그 영향을 줄이는 것입니다. 개발자 Simon Willison은 2025년 6월 위험한 조합에 이름을 붙였습니다. 비공개 데이터, 신뢰할 수 없는 콘텐츠, 그리고 외부와 소통할 수단입니다. 이 세 가지를 모두 가진 에이전트는 낯선 사람이 쓴 글의 지시를 받고 데이터를 밖으로 보낼 수 있습니다.

열쇠를 쥔 에이전트

실제 사고도 그 모양을 따릅니다. 2025년 6월 Aim Labs는 피해자의 클릭 없이 이메일 한 통만으로 Microsoft 365 Copilot이 내부 데이터를 유출하게 만들 수 있음을 보여 주었습니다. Microsoft는 이미 이를 수정했으며 악용된 증거는 확인하지 못했습니다. 2026년 8월 Varonis는 Copilot Personal의 연쇄 취약점 CoSnitch를 공개했습니다. 조작된 링크 하나가 피해자의 세션에서 공격자의 프롬프트를 실행하고, Gmail, Google Drive, Google Calendar, OneDrive 연결을 이용한 뒤, 웹 페이지를 가져오는 Copilot 자체 기능을 통해 결과를 밖으로 보냈습니다. 심어진 지시는 비밀번호를 바꾼 뒤에도 메모리에 남아 있었습니다. 연구진은 커넥터 호출이 모두 사용자에게서 온다는 가정이 무너졌다고 썼습니다.

커넥터는 공급업체이며, 공급업체의 위험을 그대로 안고 있습니다. 2025년 9월 npm 레지스트리에 이메일 서비스 Postmark의 MCP 서버로 위장한 패키지가 올라왔습니다. 이 패키지는 깨끗한 버전을 열다섯 개 배포한 뒤, 발송되는 모든 이메일을 공격자에게 복사하는 한 줄을 추가했습니다. Koi Security가 이를 찾아냈을 때 일주일 동안의 다운로드 수는 약 1'500건이었습니다.

2025년 12월 공개된 OWASP의 에이전틱 애플리케이션 Top 10은 이제 목표 탈취와 도구 오용부터 오염된 메모리, 통제를 벗어난 에이전트까지 이런 위험들을 명시합니다. 2026년 3분기 정리는 냉정한 지적을 더합니다. 에이전트는 주어진 작업을 수행하는 것만으로도 해를 끼칠 수 있고, 과도한 권한은 작은 실패를 큰 실패로 키웁니다. 프롬프트 속 지시만으로는 안전한 경계가 만들어지지 않습니다.

버텨 내는 방어

양쪽 모두에서 효과가 있는 방어에는 하나의 생각이 공통으로 깔려 있습니다. 사람이든 모델이든, 누군가 그 순간에 속임수를 알아차리기를 기대하지 않는다는 것입니다. 대신 속은 사람이나 잘못 이끌린 에이전트가 할 수 있는 일을 제한합니다.

사람에 대해서는 슈비츠 경찰이 도움이 되는 방법을 정리했습니다. 급하거나 평소와 다른 송금 요청은 독립된 두 번째 경로로 확인하고, 큰 금액은 반드시 두 사람이 확인하며, 문서로 남긴 승인 없이는 해외로 송금하지 말라는 것입니다.

에이전트에게는 각자의 일에 필요한 가장 좁은 접근 권한만 주십시오. NCSC는 모델이 어떤 당사자의 콘텐츠를 읽을 때 모델의 권한도 그 당사자의 수준으로 낮아져야 한다고 말합니다. 이 세 가지 조합을 끊으십시오. 발송, 결제, 게시, 삭제는 모델이 말로 통과할 수 없는 관문 뒤에 두십시오. 모든 쓰기 작업은 그것을 요청한 사람의 신원으로 실행하고, 자격 증명은 손이 닿지 않는 곳에 두고, 모든 커넥터를 새 공급업체처럼 다루고, 에이전트가 한 말뿐 아니라 한 일을 기록하십시오.

AI는 일상적인 점검과 읽는 일을 맡을 수 있습니다. 사람에게 남는 것은 요청이 이상하게 느껴질 때 멈추는 일, 다시 전화해 확인하겠다는 판단, 그리고 서명하는 사람의 책임입니다.

저희가 만드는 방식

저희의 bexio용 커넥터 Kontor는 호스팅형 MCP 서버여서 노트북에 키가 남지 않고, 각자 자기 계정으로 로그인합니다. 발송, 결제, 독촉은 어시스턴트가 아예 쓸 수 없습니다. Twin은 회사 전체에 같은 규칙을 적용합니다. 역할별 접근 권한, 사용자마다 로그인해 실행하는 모든 쓰기 작업, 그리고 모든 단계의 기록입니다.

어떤 외부 연결도 허용할 수 없을 만큼 중요한 데이터에는 파트너 Eigna Labs가 만든 Eigna가 있습니다. 회사마다 자체 클라우드나 자체 서버에서 돌아가는 프라이빗 모델로, 폐쇄망에서 완전히 오프라인으로 작동하도록 설계되었고 해킹과 공격을 거부하도록 학습되었습니다. 그리고 음성 어시스턴트와 음성 복제를 위한 저희 제품 Timbre는 화자의 동의가 있을 때만 목소리를 복제합니다.

회사는 이번 주에 시작할 수 있습니다. 모든 송금 요청에 대해 다시 전화해 확인하는 규칙을 정하고, 익숙한 목소리가 더 이상 증거가 아니라는 사실을 모든 팀에 알리고, 모든 에이전트와 커넥터를 각자가 가진 접근 권한과 함께 목록으로 만들고, 필요 없는 권한은 거두십시오.