인수되고 하나로 묶이는 음성 에이전트

기업의 전화를 받는 음성 에이전트는 하나의 제품이 아니라 하나의 사슬입니다. 한 부분은 듣고 음성을 텍스트로 바꾸고, 한 부분은 요청을 이해해 그에 따라 행동하며, 한 부분은 답을 말하고, 한 부분은 통화를 전화망이나 웹으로 전달합니다. 지금까지 많은 개발자가 이 사슬을 여러 공급업체의 제품으로 조립했습니다. 10월 하순 들어 이 고리들이 한 상자에 담겨 나오기 시작했고, 많은 개발자가 고리를 잇는 데 쓰는 오픈 프레임워크 Pipecat을 만든 회사는 인수 절차를 밟고 있습니다.

Deepgram, 배관을 사들이다

10월 29일 음성 인식 및 음성 모델을 만드는 Deepgram은 Daily를 인수한다고 밝혔습니다. Daily는 음성 및 영상 통화를 위한 실시간 인프라를 운영하며, 음성 에이전트 안의 모델들을 연결하고 발화 차례 감지와 끼어들기 같은 어려운 부분을 처리하는 오픈소스 프레임워크 Pipecat을 만들었습니다. 인수 가격은 공개되지 않았습니다. Deepgram은 “Pipecat 프레임워크는 기존 BSD V2 라이선스에 따라 완전한 오픈소스로 남으며 모든 개발자에게 무료로 제공됩니다”라고 썼습니다. Daily의 공동 창업자 Kwindla Hultman Kramer는 독립적인 Pipecat Foundation이 “Deepgram과 경쟁하는 기업을 포함해 실시간 AI 생태계 전체를 대표하는” 운영위원회에 의해 운영될 것이라고 덧붙였습니다.

같은 날 Deepgram의 제품 책임자 Ed Anuff는 Pipecat 위에 구축된 Voice Agent Platform을 미리 소개했으며, 이 플랫폼은 “Deepgram이 호스팅하거나 자체 클라우드에서” 실행될 예정입니다. 아직 출시되지는 않았습니다. “플랫폼 자체는 아직 앞으로의 일입니다. 일정은 곧 공유하겠습니다.” 그는 대부분의 음성 에이전트가 “세 개의 모델을 일렬로 세운 것”이며, 넘겨줄 때마다 말 자체를 제외한 거의 모든 것이 사라진다고 썼습니다. Deepgram의 답은 다른 공급업체의 모델과도 작동하는 프레임워크 위에서 한 회사가 사슬 전체를 책임지는 것이며, 여기에 속삭임이나 불분명한 단어를 한 모델에서 다음 모델로 전달하는 개방형 프로토콜 Real-Time Context Standard를 더합니다.

한 상자에 담긴 사슬 전체

10월 20일 Mistral은 전사와 음성 합성을 위한 새 모델 Voxtral 3를 공개했습니다. 여기에는 LiveKit 기반의 음성 에이전트 키트가 함께 있으며, 이 키트는 “듣기, 생각하기, 도구 호출, 말하기를 하나의 실시간 스트리밍 파이프라인으로 묶습니다.” Mistral에 따르면 각 대화 차례는 1초 안에 완료되며 “발신자가 끼어들면 에이전트는 말을 멈춥니다.” 이 에이전트는 전화를 받고 걸 수 있으며, 브라우저와 앱에서도 작동합니다. Mistral의 EU 호스팅 API나 기업의 자체 인프라에서 실행되며, Mistral Small 4가 추론을 맡을 경우 분당 4센트입니다.

ElevenLabs는 같은 날 Mini와 Max 두 버전으로 Eleven Realtime을 공개하며 이를 “새로운 종류의 Speech to Speech 모델”이라고 부릅니다. 음성이 들어가고 음성이 나오며, 모델 이름은 하나입니다. 그 아래는 여전히 사슬로, “앞서 설명한 구성 요소들의 캐스케이드 아키텍처 위에 구축되고 처음부터 끝까지 조율된” 구조입니다. ElevenLabs에 따르면 두 버전 모두 90개가 넘는 언어를 구사하며, Artificial Analysis의 테스트에서 Max는 평균 0.57초 만에 말하기 시작합니다.

고르기 전에 테스트할 것

모든 출시 발표가 자연스러운 대화 주고받기를 약속합니다. 중요한 테스트는 귀사의 실제 통화입니다. 생각하느라 잠시 멈추는 발신자, 문장 중간에 날짜를 바꾸는 발신자, 에이전트의 말에 겹쳐 말하는 발신자, 시끄러운 차 안에서 전화하는 발신자입니다. 벤치마크가 아니라 귀사의 전화 회선에서 에이전트가 답하기까지 얼마나 걸리는지 측정하고, 말을 끊었을 때 정말 멈추는지 들어 보십시오.

언어에도 같은 주의가 필요합니다. 저희가 읽은 발표 가운데 스위스 독일어를 언급한 것은 하나도 없습니다. Mistral은 음성 출력에 50개가 넘는 방언을 제시하고 Deepgram의 새 음성은 독일어를 구사하지만, 베른에서 전화한 사람은 표준 독일어로 말하지 않습니다. 5월에 발표된 한 프리프린트는 스위스 독일어에서 발표된 최고 성적의 바탕이 된 테스트 세트가 “방언 이해보다는 주로 표기 관례 일치를 측정한다”는 사실을 발견했습니다. 서류상의 좋은 점수는 귀사 발신자들의 녹음만큼 많은 것을 증명하지 못합니다.

상자에 들어 있지 않은 것

고지는 선택 사항이 아닙니다. 8월 2일부터 EU 인공지능법(AI Act)은 “사용자는 실제 사람이 아니라 AI 시스템과 상호작용하고 있을 때 이를 명확히 고지받아야 한다”고 요구하며, 위반 시 최대 1500만 유로 또는 전 세계 연간 매출의 3퍼센트에 이르는 과징금이 부과될 수 있습니다. 스위스에서는 연방 데이터보호 및 정보 커미셔너가 현행법상 “사용자는 자신이 기계와 대화하거나 서신을 주고받고 있는지 알 법적 권리가 있다”는 입장입니다. 두 요건을 모두 충족하는 가장 간단한 방법은 모든 통화의 첫 문장입니다.

복제된 음성에는 더 많은 것이 필요합니다. 커미셔너는 식별 가능한 사람의 목소리를 위조할 수 있는 프로그램을 사용할 때는 언제나 이를 명확히 표시해야 하며, 경우에 따라서는 형법상 불법일 수 있다고 씁니다. Mistral은 음성 복제를 제공하지만, 발표에는 화자의 동의를 어떻게 확인하는지에 대한 언급이 없습니다. 그 부분은 음성을 사용하는 기업의 몫으로 남습니다. 화자의 서면 동의, 그리고 그 기록입니다.

그다음 음성 데이터가 어디로 가는지 물으십시오. Deepgram은 미국, EU, 인도, 호주에 처리와 저장을 해당 지역 안에 두는 지역 엔드포인트를 제공합니다. Mistral은 EU 호스팅 API 또는 귀사 자체 서버에서의 실행을 제공합니다. 통화 녹음과 전사본에는 대개 개인정보가 들어 있으므로, 어디에 얼마나 오래 보관하는지는 계약서에 담아야 합니다.

사슬을 교체할 수 있게 유지하기

업계 통합 자체가 나쁜 것은 아닙니다. 사슬 전체를 책임지는 한 회사는 고리 사이에 놓인 문제를 고칠 수 있습니다. 위험은 그 이면에 있습니다. 독립적인 공급업체가 적을수록 한 곳을 떠나기가 더 어려워집니다.

그래서 개방된 부분이 중요합니다. Pipecat은 허용적인 라이선스로 남고, 그 재단은 Pipecat의 중립성을 지키기 위한 것입니다. 다만 두 발표 어느 쪽도 위원회 구성원이나 날짜를 밝히지 않았습니다. Mistral은 에이전트의 각 단계가 별도의 모델이어서 언어 모델, 음성, 언어를 “에이전트를 다시 작성하지 않고” 바꿀 수 있다고 말합니다. ElevenLabs는 OpenAI의 Realtime API를 따르므로, 전환은 주소와 모델 이름을 바꾸는 것으로 끝날 수 있습니다.

저희의 관점은 이렇습니다. 귀사의 것인 부분은 어떤 공급업체에도 묶어 두지 마십시오. 전화번호, 지식, 가격과 규칙, 통화 흐름과 테스트는 공급업체가 바뀌어도 그대로 남아야 합니다. 그러면 더 나은 모델이 나오거나 공급업체가 경쟁사에 인수되더라도, 그것은 새 프로젝트가 아니라 설정 변경이 됩니다.

Timbre의 입장

Timbre는 이를 위한 저희 제품이며, 현재 제공 중입니다. 고객이 고른 목소리를 화자의 서면 동의가 있을 때에만 복제하고, 전화, 안내 데스크, 예약, 웹사이트에서 일하게 합니다. 발신자에게는 어시스턴트와 대화하고 있다는 사실을 알리며, 사람이 더 중요한 순간에는 언제든 서면 요약과 함께 통화를 사람에게 넘깁니다. 저희는 ElevenLabs 같은 음성 및 전화 파트너와 함께 이를 구축하고 직접 운영합니다. 시장이 통합되는 지금, 저희는 이것이 올바른 순서라고 생각합니다. 그 아래의 파트너는 바뀔 수 있지만, 동의, 고지, 그리고 고객의 규칙은 바뀌어서는 안 됩니다.