Agentes de voz, comprados e empacotados

Um agente de voz que atende o telefone de uma empresa não é um produto, mas uma cadeia. Uma parte escuta e transforma a fala em texto, outra entende o pedido e age sobre ele, outra fala a resposta, e outra leva a ligação pela rede telefônica ou pela web. Até agora, muitos desenvolvedores montavam essa cadeia com fornecedores diferentes. Na segunda quinzena de outubro, os elos começaram a chegar numa só caixa, e a empresa por trás do Pipecat, o framework aberto que muitos desenvolvedores usam para uni-los, está sendo comprada.

A Deepgram compra o encanamento

Em 29 de outubro, a Deepgram, que faz reconhecimento de fala e modelos de voz, anunciou que está adquirindo a Daily. A Daily opera infraestrutura em tempo real para chamadas de áudio e vídeo e criou o Pipecat, um framework open source que conecta os modelos de um agente de voz e cuida de partes difíceis, como a detecção de turnos e as interrupções. O preço não foi divulgado. “O framework Pipecat vai continuar totalmente open source e gratuito para todos os desenvolvedores, sob a sua atual licença BSD V2”, escreveu a Deepgram. O cofundador da Daily, Kwindla Hultman Kramer, acrescentou que uma Pipecat Foundation independente será dirigida por um comitê gestor “que representa todo o ecossistema de IA em tempo real, incluindo empresas que concorrem com a Deepgram.”

No mesmo dia, o chefe de produto da Deepgram, Ed Anuff, apresentou uma prévia de uma Voice Agent Platform construída sobre o Pipecat, para rodar “hospedada pela Deepgram ou na sua própria nuvem”. Ela ainda não foi lançada: “A plataforma em si ainda está por vir. Vamos divulgar os prazos em breve.” A maioria dos agentes de voz, escreveu ele, são “três modelos em fila”, e a cada passagem quase tudo se perde, exceto as palavras. A resposta da Deepgram é uma única empresa responsável pela cadeia inteira, sobre um framework que também funciona com modelos de outros fornecedores, mais um protocolo aberto, o Real-Time Context Standard, que leva um sussurro ou uma palavra pouco clara de um modelo para o seguinte.

A cadeia inteira numa só caixa

Em 20 de outubro, a Mistral lançou o Voxtral 3, novos modelos de transcrição e fala com um kit de agente de voz construído sobre o LiveKit “que reúne escuta, raciocínio, chamada de ferramentas e fala num único pipeline de streaming em tempo real.” A Mistral diz que cada turno se completa em menos de um segundo e que “o agente para de falar quando quem liga interrompe”. O agente recebe e faz ligações telefônicas e funciona em navegadores e apps. Ele roda na API da Mistral hospedada na UE ou na infraestrutura da própria empresa, por 4 centavos o minuto, com o Mistral Small 4 cuidando do raciocínio.

A ElevenLabs lançou o Eleven Realtime no mesmo dia, em uma versão Mini e uma Max, e o chama de “uma nova classe de modelos de fala para fala”: entra áudio, sai áudio, um só nome de modelo. Por baixo, continua sendo uma cadeia, “construída sobre uma arquitetura em cascata dos componentes descritos acima, ajustada de ponta a ponta.” A ElevenLabs diz que as duas versões falam mais de 90 idiomas e que, em testes da Artificial Analysis, o Max começa a falar após 0,57 segundo, em média.

O que testar antes de escolher

Todo lançamento promete uma alternância natural na conversa. O teste que conta são as suas próprias ligações: quem liga e faz uma pausa para pensar, muda o dia no meio da frase, fala por cima do agente ou liga de um carro barulhento. Meça quanto tempo o agente leva para responder na sua própria linha telefônica, não num benchmark, e preste atenção se ele realmente para quando é interrompido.

Os idiomas exigem o mesmo cuidado. Nenhum dos anúncios que lemos menciona o alemão suíço. A Mistral lista mais de 50 dialetos para a saída de voz e as novas vozes da Deepgram falam alemão, mas quem liga de Berna não fala o alemão padrão. Um preprint publicado em maio concluiu que o conjunto de testes por trás dos melhores resultados publicados em alemão suíço “mede principalmente a correspondência com convenções, e não a compreensão do dialeto.” Uma boa pontuação no papel prova menos do que gravações das pessoas que ligam para você.

O que não vem na caixa

Avisar não é opcional. Desde 2 de agosto, o AI Act da UE exige que “os usuários sejam claramente informados quando não estão interagindo com uma pessoa real, mas com um sistema de IA”, com multas de até 15 milhões de euros ou 3 por cento do faturamento anual global. Na Suíça, o Comissário Federal de Proteção de Dados e Informação entende que, pela legislação em vigor, “os usuários têm o direito legal de saber se estão falando ou se correspondendo com uma máquina.” A forma mais simples de cumprir as duas exigências é a primeira frase de cada ligação.

Uma voz clonada exige mais. O comissário escreve que o uso de programas capazes de falsificar a voz de uma pessoa identificável deve sempre ser indicado com clareza, e pode, em alguns casos, ser ilegal pelo direito penal. A Mistral oferece clonagem de voz, e o anúncio dela não diz nada sobre como o consentimento do locutor é verificado. Essa parte fica com a empresa que usa a voz: consentimento por escrito do locutor, e um registro disso.

Depois, pergunte para onde vai o áudio. A Deepgram oferece endpoints regionais nos Estados Unidos, na UE, na Índia e na Austrália que mantêm o processamento e o armazenamento na região. A Mistral oferece a API hospedada na UE ou a instalação nos seus próprios servidores. Gravações e transcrições de ligações costumam conter dados pessoais, então onde ficam guardadas, e por quanto tempo, é algo que deve constar no contrato.

Mantenha a cadeia substituível

A consolidação não é ruim em si. Uma empresa responsável pela cadeia inteira consegue resolver problemas que ficam entre os elos. O risco é o outro lado disso: quanto menos fornecedores independentes houver, mais difícil é deixar um deles.

É por isso que as peças abertas importam. O Pipecat continua sob uma licença permissiva, e a fundação deve mantê-lo neutro, embora nenhum dos dois anúncios cite um membro do comitê ou uma data. A Mistral diz que cada etapa do seu agente é um modelo separado, então o modelo de linguagem, a voz ou o idioma podem mudar “sem reescrever o agente”. A ElevenLabs segue a Realtime API da OpenAI, então trocar pode significar mudar um endereço e um nome de modelo.

Nossa visão: mantenha fora de qualquer fornecedor as partes que são suas. Seu número de telefone, seu conhecimento, seus preços e suas regras, seus fluxos de chamada e seus testes deveriam sobreviver a uma troca de fornecedor. Assim, um modelo melhor, ou um fornecedor comprado por um concorrente, vira uma mudança de configuração, e não um projeto novo.

Onde o Timbre está

O Timbre é o nosso produto para isso, e já está disponível. Ele clona uma voz escolhida pelo cliente, só com o consentimento por escrito do locutor, e a coloca para trabalhar no telefone, na recepção, nos agendamentos e no site. Quem liga é avisado de que está falando com um assistente e, sempre que uma pessoa faz mais diferença, a ligação é passada para uma, com um resumo por escrito. Construímos o Timbre com parceiros de voz e telefonia, como a ElevenLabs, e nós mesmos o operamos. Com a consolidação do mercado, achamos que essa é a ordem certa: os parceiros por baixo podem mudar, mas o consentimento, o aviso e as regras do cliente não deveriam.