Agentes de voz, comprados y empaquetados

Un agente de voz que atiende el teléfono de una empresa no es un producto, sino una cadena. Una parte escucha y convierte la voz en texto, otra entiende la petición y actúa en consecuencia, otra pronuncia la respuesta y otra transporta la llamada por la red telefónica o por la web. Hasta ahora, muchos desarrolladores montaban esa cadena con proveedores distintos. En la segunda quincena de octubre, los eslabones empezaron a llegar en una sola caja, y la empresa detrás de Pipecat, el framework abierto que muchos desarrolladores usan para unirlos, está siendo adquirida.

Deepgram compra las tuberías

El 29 de octubre, Deepgram, que desarrolla reconocimiento de voz y modelos de voz, anunció que adquiere Daily. Daily gestiona infraestructura en tiempo real para llamadas de audio y vídeo y creó Pipecat, un framework de código abierto que conecta los modelos de un agente de voz y resuelve partes difíciles como la detección de turnos y las interrupciones. No se reveló el precio. «El framework Pipecat seguirá siendo totalmente de código abierto y gratuito para todos los desarrolladores bajo su actual licencia BSD V2», escribió Deepgram. El cofundador de Daily, Kwindla Hultman Kramer, añadió que una Pipecat Foundation independiente estará dirigida por un comité de dirección «que representa a todo el ecosistema de IA en tiempo real, incluidas empresas que compiten con Deepgram».

Ese mismo día, el responsable de producto de Deepgram, Ed Anuff, adelantó una Voice Agent Platform construida sobre Pipecat, que funcionará «alojada por Deepgram o en tu propia nube». Todavía no se ha lanzado: «La plataforma en sí aún está por llegar. Pronto compartiremos los plazos». La mayoría de los agentes de voz, escribió, son «tres modelos en fila», y en cada traspaso se pierde casi todo salvo las palabras. La respuesta de Deepgram es una sola empresa responsable de toda la cadena, sobre un framework que también funciona con modelos de otros proveedores, más un protocolo abierto, el Real-Time Context Standard, que transmite un susurro o una palabra poco clara de un modelo al siguiente.

Toda la cadena en una caja

El 20 de octubre, Mistral lanzó Voxtral 3, nuevos modelos de transcripción y de voz con un kit de agente de voz construido sobre LiveKit «que reúne escuchar, pensar, llamar a herramientas y hablar en un único pipeline de streaming en tiempo real». Mistral dice que cada turno se completa en menos de un segundo y que «el agente deja de hablar cuando quien llama lo interrumpe». El agente recibe y hace llamadas telefónicas y funciona en navegadores y apps. Se ejecuta en la API de Mistral alojada en la UE o en la infraestructura propia de una empresa, por 4 céntimos el minuto con Mistral Small 4 encargándose del razonamiento.

ElevenLabs lanzó Eleven Realtime el mismo día, en una versión Mini y otra Max, y lo llama «una nueva clase de modelos de voz a voz»: entra audio, sale audio, con un solo nombre de modelo. Por debajo sigue siendo una cadena, «construida sobre una arquitectura en cascada de los componentes descritos arriba, ajustada de principio a fin». ElevenLabs dice que ambas versiones hablan más de 90 idiomas y que, en pruebas de Artificial Analysis, Max empieza a hablar tras 0,57 segundos de media.

Qué probar antes de elegir

Todos los lanzamientos prometen turnos de palabra naturales. La prueba que cuenta son tus propias llamadas: alguien que hace una pausa para pensar, cambia el día a mitad de frase, habla por encima del agente o llama desde un coche ruidoso. Mide cuánto tarda el agente en responder en tu propia línea telefónica, no en un benchmark, y escucha si de verdad se calla cuando lo interrumpen.

Los idiomas requieren el mismo cuidado. Ninguno de los anuncios que leímos menciona el alemán suizo. Mistral enumera más de 50 dialectos para la salida de voz y las nuevas voces de Deepgram hablan alemán, pero alguien que llama desde Berna no habla alemán estándar. Un preprint publicado en mayo concluyó que el conjunto de prueba detrás de los mejores resultados publicados en alemán suizo «mide sobre todo la coincidencia con convenciones más que la comprensión dialectal». Una buena puntuación sobre el papel demuestra menos que las grabaciones de tus propias llamadas.

Lo que no viene en la caja

Informar no es opcional. Desde el 2 de agosto, el Reglamento de IA de la UE (AI Act) exige que «los usuarios sean informados claramente cuando no estén interactuando con una persona real, sino con un sistema de IA», con multas de hasta 15 millones de euros o el 3 por ciento de la facturación anual mundial. En Suiza, el Comisionado Federal de Protección de Datos e Información sostiene que, según la legislación vigente, «los usuarios tienen el derecho legal a saber si están hablando o escribiéndose con una máquina». La forma más sencilla de cumplir con ambos es la primera frase de cada llamada.

Una voz clonada necesita más. El Comisionado escribe que el uso de programas capaces de falsificar la voz de una persona identificable debe indicarse siempre con claridad, y que en algunos casos puede ser ilícito según el derecho penal. Mistral ofrece clonación de voz, y su anuncio no dice nada sobre cómo se comprueba el consentimiento de la persona a la que pertenece la voz. Esa parte sigue correspondiendo a la empresa que usa la voz: el consentimiento por escrito de esa persona y un registro de él.

Después, pregunta adónde va el audio. Deepgram ofrece endpoints regionales en Estados Unidos, la UE, India y Australia que mantienen el procesamiento y el almacenamiento en la región. Mistral ofrece su API alojada en la UE o tus propios servidores. Las grabaciones y transcripciones de llamadas suelen contener datos personales, así que dónde se guardan, y durante cuánto tiempo, debe figurar en el contrato.

Que la cadena siga siendo reemplazable

La consolidación no es mala en sí misma. Una sola empresa responsable de toda la cadena puede resolver problemas que están entre los eslabones. El riesgo es la otra cara: cuantos menos proveedores independientes haya, más difícil es dejar a uno.

Por eso importan las piezas abiertas. Pipecat sigue bajo una licencia permisiva, y su fundación debe mantenerlo neutral, aunque ninguno de los dos anuncios nombra a un miembro del comité ni una fecha. Mistral dice que cada etapa de su agente es un modelo independiente, así que el modelo de lenguaje, la voz o el idioma pueden cambiar «sin reescribir el agente». ElevenLabs sigue la Realtime API de OpenAI, así que cambiar puede consistir en modificar una dirección y un nombre de modelo.

Nuestra opinión: mantén las partes que son tuyas fuera de cualquier proveedor. Tu número de teléfono, tu conocimiento, tus precios y tus reglas, tus flujos de llamada y tus pruebas deberían sobrevivir a un cambio de proveedor. Así, un modelo mejor, o un proveedor comprado por un competidor, es un cambio de configuración y no un proyecto nuevo.

Dónde está Timbre

Timbre es nuestro producto para esto, y ya está disponible. Clona una voz que elige el cliente, solo con el consentimiento por escrito de la persona a la que pertenece, y la pone a trabajar al teléfono, en recepción, en las reservas y en la web. A quien llama se le informa de que habla con un asistente y, siempre que hace más falta una persona, la llamada pasa a una, con un resumen por escrito. Lo construimos con socios de voz y telefonía como ElevenLabs y lo operamos nosotros mismos. Mientras el mercado se consolida, creemos que ese es el orden correcto: los socios de debajo pueden cambiar, pero el consentimiento, la información a quien llama y las reglas del cliente no deberían hacerlo.