자율이란 정말 무엇을 뜻하는가

저희 슬로건은 “다음은 자율이다”라는 말로 끝납니다. 이런 약속에는 정의가 필요합니다. 그렇지 않으면 그저 분위기일 뿐입니다. 저희 업계에서는 이메일 한 통을 스스로 보내는 어시스턴트도 자율이라 불리고, 직원 없이 돌아가는 회사라는 비전도 자율이라 불립니다.

자동차도 같은 혼란을 겪었고, 이제 대부분의 사람이 아는 척도를 얻었습니다. 빌려 올 가치가 있습니다.

자동차가 제대로 한 것

SAE의 주행 자동화 단계는 0부터 5까지이며, 미국 도로교통안전국(NHTSA)은 이를 쉬운 말로 설명합니다. 2단계까지는 시스템이 조향, 제동, 가속을 대신해 주더라도 운전과 감시는 운전자가 합니다. 3단계에서는 시스템이 운전하지만, 시스템이 요청하면 운전자가 넘겨받을 수 있어야 합니다. 4단계에서는 제한된 서비스 구역 안에서 시스템이 모든 책임을 지며, 안에 탄 사람은 승객입니다. 5단계에 가서야 시스템이 모든 조건에서 어디서든 운전합니다.

두 가지 생각이 이 척도를 쓸모 있게 만듭니다. 각 단계는 차가 얼마나 똑똑한지가 아니라 누가 책임지는지로 정의됩니다. 그리고 높은 단계는 장소로 한정됩니다. 4단계는 어디서나가 아니라 한 구역 안에서의 완전한 책임을 뜻합니다. NHTSA는 오늘날 소비자가 쓸 수 있는 가장 높은 수준의 자동화조차 운전자의 완전한 참여와 온전한 주의를 요구한다고도 짚습니다. 이 척도는 시장이 아니라 하나의 길을 설명합니다.

일을 위한 단계

2025년 Kevin Feng, David McDonald, Amy Zhang 세 연구자는 AI 에이전트를 위한 비슷한 척도를 제안했습니다. 이들은 사람이 맡는 역할에 따라 다섯 단계를 정의합니다. 운영자, 협업자, 자문자, 승인자, 관찰자입니다. 승인자 단계에서는 에이전트가 스스로 해결할 수 없는 장애물을 만났을 때만 사람이 필요합니다. 관찰자 단계에서는 사람이 로그를 읽을 수는 있지만 더 이상 일을 조종하지 않습니다.

이들의 가장 날카로운 지적은 자율성이 능력과는 별개인, 의도적인 설계 결정이라는 것입니다. 아주 유능한 에이전트라도 모든 행동 전에 묻도록 만들 수 있습니다. 질문은 결코 모델이 그 일을 할 수 있느냐만이 아닙니다. 누군가 그 일의 얼마만큼을, 어떤 근거로, 모델 혼자 하게 두기로 결정했느냐입니다.

이 기준으로 보면 오늘 모든 crue 제품은 낮은 단계에서 일합니다. 기계가 초안을 쓰고 제안하며, 사람이 결정합니다. 저희의 다음 단계는 승인자 단계로, 회사가 고른 곳에 관문이 있습니다. 예를 들어 North는 회사가 정한 한도 안에서 채널 사이로 예산을 옮기고, 그 이유를 설명하게 될 것입니다. 두 척도 모두에서 이는 4단계에 가깝습니다. 한정된 구역 안에서의 완전한 책임, 그리고 경계에 이르면 사람을 부르는 것입니다.

먼저 갖춰야 할 것

프로세스는 자동차가 서비스 구역을 얻듯 자신의 단계를 얻어야 합니다. 근거를 갖고, 한정된 구역 하나씩. 반복 업무가 스스로 돌아가기 전에 다섯 가지가 있어야 합니다.

문서로 된 규칙. 예산 상한, 누구도 줄 수 없는 할인, 브랜드가 절대 쓰지 않는 어조. 에이전트는 누군가의 머릿속에만 있는 한도를 지킬 수 없습니다. 관문. 에이전트가 멈추고 지정된 사람이 결정하는 고정된 지점으로, 되돌릴 수 없는 모든 것 앞에 둡니다. 기록. 모든 단계를 기록해, 잘못된 결과를 그 원인이 된 입력, 규칙, 모델까지 추적할 수 있게 합니다. Twin에서는 모든 단계가 기록되고, 모든 쓰기 작업은 사용자 본인의 계정으로 이루어집니다.

책임. 에이전트가 잘못하면 회사가 책임집니다. 2024년 캐나다의 한 심판소가 이를 분명히 했습니다. Air Canada가 자사 챗봇이 스스로의 행동에 책임이 있다고 주장했을 때, 심판소는 받아들이지 않았습니다. 챗봇이든 아니든 항공사는 자사 웹사이트의 모든 정보에 책임이 있으며, 배상해야 한다는 것이었습니다. 근거. 단계는 시연이 아니라 측정된 결과로 얻는 것입니다. Proof가 숫자가 뒷받침할 때만 승자를 정하는 것처럼 말입니다.

EU 인공지능법(AI Act)도 고위험 용도에서 거의 같은 것을 요구합니다. 인간 감독에 관한 조항은 책임자가 시스템의 한계를 이해하고, 시스템에 지나치게 의존하는 습관을 경계하며, 시스템의 출력을 무시하고 시스템을 멈출 수 있어야 한다고 규정합니다. 이 의무는 부속서 III에 열거된 고위험 용도에는 2027년 12월 2일부터, 부속서 I에 해당하는 용도에는 2028년 8월 2일부터 적용됩니다.

지켜보는 것은 감독이 아닙니다

감독이라는 말에는 함정이 있습니다. 2월 Anthropic은 사람들이 자사 코딩 에이전트 Claude Code를 실제로 어떻게 감독하는지에 관한 데이터를 공개했습니다. 신규 사용자는 세션의 약 20퍼센트에서 묻지 않고 행동하도록 허용했고, 숙련된 사용자는 40퍼센트 이상에서 그렇게 했습니다. 그런데 숙련된 사용자는 개입도 더 자주 했습니다. 턴의 약 9퍼센트로, 신규 사용자의 5퍼센트보다 많았습니다. 이들은 감독을 멈춘 것이 아니었습니다. 단계마다 승인하는 방식에서, 실행을 지켜보다가 중요할 때 개입하는 방식으로 옮겨 간 것입니다.

Anthropic은 관찰한 행동 중 되돌릴 수 없어 보이는 것은 약 0.8퍼센트에 불과하다는 사실도 발견하고, 효과적인 감독은 승인 체계에 사람을 넣는 것 이상이라고 결론지었습니다. 중요할 때 개입할 수 있는 위치에 있어야 한다는 뜻입니다. 저희는 이를 더 적고 더 좋은 관문을 두라는 근거로 읽습니다. 되돌릴 수 없는 단계, 돈, 회사 밖으로 나가는 메시지 앞에 두는 관문입니다.

자율적인 회사

더 큰 논쟁은 회사 전체가 이런 방식으로 돌아가게 될 것이냐입니다. Gartner는 2024년에는 전무했던, 에이전틱 AI를 통해 자율적으로 내려지는 일상 업무 결정이 2028년까지 적어도 15퍼센트에 이를 것으로 예상합니다. 실질적인 변화이지만, 그 전망대로라도 대부분의 결정은 여전히 사람에게 남습니다.

지금까지 가장 정직한 테스트는 작은 규모입니다. 2025년 Anthropic은 Claude 에이전트에게 사무실 가게를 한 달가량 맡겼습니다. 에이전트는 원가보다 싸게 팔았고, 설득에 넘어가 할인 코드를 내주었으며, 한동안은 고객에게 자신이 지어낸 계좌로 돈을 보내라고 했습니다. Anthropic의 평가는 이 에이전트를 채용하지 않겠다는 것이었고, 동시에 AI 중간 관리자가 머지않아 등장할 법하다는 것이었습니다.

반대편 끝에서 Margaret Mitchell과 동료들은 2025년, 완전 자율 에이전트는 아예 개발해서는 안 된다고 주장했습니다. 사람이 에이전트에게 통제권을 넘길수록 사람에게 미치는 위험이 커진다는 이유입니다. 저희는 그 둘 사이에 있습니다. 언젠가 기능 전체가 스스로 돌아가고 사람은 가장자리에 있게 될 수도 있지만, 저희는 그 시점을 정하지 않습니다.

반복 업무가 한 단계 올라가는 법

기업에게 실질적인 질문은 더 좁습니다. 이 반복 업무 하나를 한 단계 올려도 되는가? 저희의 테스트는 짧습니다. 규칙이 문서로 적혀 있습니다. 관문이 되돌릴 수 없는 단계 앞에 있습니다. 모든 행동이 기록되고 한 사람의 이름으로 서명됩니다. 의미 있는 만큼의 실행에서 초안에 더 이상 수정이 필요 없습니다. 그리고 마지막으로 잘 작동하던 버전으로 돌아갈 길이 있습니다.

저희 제품도 그 길을 따릅니다. Tempo는 한 달 치를 준비하고 테스트하며, 모든 게시물은 사람이 승인합니다. 다음 단계에서는 테스트를 통과한 것을 게시하고, 귀사가 원하는 곳에서만 승인을 요청합니다. Proof는 사람이 승인한 테스트를 실행합니다. 다음 단계에서는 귀사의 규칙 안에서 다음 테스트를 스스로 시작합니다. North는 설명하고 사람이 결정합니다. 다음 단계에서는 귀사가 정한 한도 안에서 예산을 옮깁니다.

저희가 쓰는 의미에서 자율은 결코 방치를 뜻하지 않습니다. 한정된 구역, 문서로 된 규칙, 모든 단계의 기록, 그리고 결과를 책임지는 사람을 뜻합니다. 기계는 점점 더 많은 일을 맡을 수 있습니다. 회사의 이름으로 이루어지는 일에 대한 안목, 판단, 책임은 사람에게 남으며, 바로 그것이 나머지를 한 단계씩 올라가게 합니다. 4단계 자동차에도 여전히 소유자가 있습니다. 스스로 돌아가는 모든 프로세스도 그럴 것입니다.