Agents vocaux, rachetés et vendus d’un bloc

Un agent vocal qui répond au téléphone d’une entreprise n’est pas un produit, mais une chaîne. Un maillon écoute et transforme la parole en texte, un autre comprend la demande et y donne suite, un troisième prononce la réponse, et un dernier achemine l’appel sur le réseau téléphonique ou sur le web. Jusqu’ici, beaucoup de développeurs assemblaient cette chaîne à partir de fournisseurs différents. Dans la seconde moitié d’octobre, les maillons ont commencé à arriver dans une seule boîte, et l’entreprise derrière Pipecat, le framework ouvert que beaucoup utilisent pour les relier, est en train d’être rachetée.

Deepgram rachète la tuyauterie

Le 29 octobre, Deepgram, qui conçoit des modèles de reconnaissance vocale et de voix, a annoncé l’acquisition de Daily. Daily exploite une infrastructure en temps réel pour les appels audio et vidéo et a créé Pipecat, un framework open source qui relie les modèles d’un agent vocal et prend en charge des aspects délicats comme la détection des tours de parole et les interruptions. Le prix n’a pas été communiqué. « Le framework Pipecat restera entièrement open source et gratuit pour tous les développeurs, sous sa licence BSD V2 actuelle », a écrit Deepgram. Le cofondateur de Daily, Kwindla Hultman Kramer, a ajouté qu’une Pipecat Foundation indépendante sera dirigée par un comité de pilotage « qui représente l’ensemble de l’écosystème de l’IA en temps réel, y compris des entreprises concurrentes de Deepgram ».

Le même jour, le responsable produit de Deepgram, Ed Anuff, a présenté en avant-première une Voice Agent Platform construite sur Pipecat, appelée à fonctionner « hébergée par Deepgram ou dans votre propre cloud ». Elle n’est pas encore lancée : « La plateforme elle-même est encore à venir. Nous communiquerons bientôt le calendrier. » La plupart des agents vocaux, écrit-il, sont « trois modèles à la file », et à chaque passage de relais, presque tout se perd, sauf les mots. La réponse de Deepgram : une seule entreprise responsable de toute la chaîne, sur un framework qui fonctionne aussi avec les modèles d’autres fournisseurs, ainsi qu’un protocole ouvert, le Real-Time Context Standard, qui transmet un chuchotement ou un mot peu clair d’un modèle au suivant.

Toute la chaîne dans une seule boîte

Le 20 octobre, Mistral a publié Voxtral 3, de nouveaux modèles de transcription et de synthèse vocale, accompagnés d’un kit d’agent vocal construit sur LiveKit, « qui réunit l’écoute, la réflexion, l’appel d’outils et la parole dans un seul pipeline de streaming en temps réel ». Mistral affirme que chaque tour se termine en moins d’une seconde et que « l’agent cesse de parler quand l’appelant l’interrompt ». L’agent reçoit et passe des appels téléphoniques et fonctionne dans les navigateurs et les applications. Il tourne sur l’API de Mistral hébergée dans l’UE ou sur l’infrastructure propre d’une entreprise, pour 4 centimes la minute, avec Mistral Small 4 pour le raisonnement.

ElevenLabs a publié Eleven Realtime le même jour, en version Mini et Max, et le présente comme « une nouvelle catégorie de modèles de parole à parole » : de l’audio en entrée, de l’audio en sortie, un seul nom de modèle. En dessous, il s’agit toujours d’une chaîne, « construite sur une architecture en cascade des composants décrits ci-dessus, réglée de bout en bout ». ElevenLabs affirme que les deux versions parlent plus de 90 langues et que, lors de tests menés par Artificial Analysis, Max commence à parler après 0,57 seconde en moyenne.

Ce qu’il faut tester avant de choisir

Chaque lancement promet des tours de parole naturels. Le test qui compte, ce sont vos propres appels : un appelant qui marque une pause pour réfléchir, change de jour au milieu d’une phrase, parle en même temps que l’agent ou appelle depuis une voiture bruyante. Mesurez le temps de réponse de l’agent sur votre propre ligne téléphonique, pas sur un benchmark, et écoutez s’il s’arrête vraiment quand on l’interrompt.

Les langues demandent le même soin. Aucune des annonces que nous avons lues ne mentionne le suisse allemand. Mistral annonce plus de 50 dialectes pour la sortie vocale et les nouvelles voix de Deepgram parlent allemand, mais un appelant bernois ne parle pas l’allemand standard. Une prépublication parue en mai a constaté que le jeu de test derrière les meilleurs résultats publiés en suisse allemand « mesure principalement la conformité à des conventions plutôt que la compréhension dialectale ». Un bon score sur le papier prouve moins que des enregistrements de vos propres appelants.

Ce qui n’est pas dans la boîte

La transparence n’est pas facultative. Depuis le 2 août, le règlement européen sur l’IA (AI Act) exige que « les utilisateurs soient clairement informés lorsqu’ils n’interagissent pas avec une personne réelle, mais avec un système d’IA », sous peine d’amendes pouvant atteindre 15 millions d’euros ou 3 pour cent du chiffre d’affaires annuel mondial. En Suisse, le Préposé fédéral à la protection des données et à la transparence estime qu’en vertu du droit en vigueur, « les utilisateurs ont légalement le droit de savoir s’ils parlent ou correspondent avec une machine ». Le moyen le plus simple de satisfaire aux deux exigences, c’est la première phrase de chaque appel.

Une voix clonée demande davantage. Le Préposé écrit que l’utilisation de programmes capables de falsifier la voix d’une personne identifiable doit toujours être clairement signalée, et peut dans certains cas être illicite au regard du droit pénal. Mistral propose le clonage de voix, et son annonce ne dit rien de la manière dont le consentement du locuteur est vérifié. Cette partie reste du ressort de l’entreprise qui utilise la voix : un consentement écrit du locuteur, et une trace de ce consentement.

Demandez ensuite où va l’audio. Deepgram propose des points d’accès régionaux aux États-Unis, dans l’UE, en Inde et en Australie, qui maintiennent le traitement et le stockage dans la région. Mistral propose son API hébergée dans l’UE ou vos propres serveurs. Les enregistrements d’appels et les transcriptions contiennent généralement des données personnelles : où ils sont conservés, et pendant combien de temps, doit donc figurer dans le contrat.

Garder une chaîne remplaçable

La consolidation n’est pas mauvaise en soi. Une seule entreprise responsable de toute la chaîne peut régler des problèmes qui se logent entre les maillons. Le risque en est le revers : moins il y a de fournisseurs indépendants, plus il est difficile d’en quitter un.

C’est pourquoi les briques ouvertes comptent. Pipecat reste sous une licence permissive, et sa fondation doit garantir sa neutralité, même si aucune des deux annonces ne nomme un membre du comité ni une date. Mistral indique que chaque étape de son agent est un modèle distinct, si bien que le modèle de langage, la voix ou la langue peuvent changer « sans réécrire l’agent ». ElevenLabs suit la Realtime API d’OpenAI, de sorte que changer de fournisseur peut se résumer à modifier une adresse et un nom de modèle.

Notre avis : gardez les éléments qui vous appartiennent en dehors de tout fournisseur. Votre numéro de téléphone, vos connaissances, vos prix et vos règles, vos scénarios d’appel et vos tests doivent survivre à un changement de fournisseur. Un meilleur modèle, ou un fournisseur racheté par un concurrent, devient alors un changement de réglages et non un nouveau projet.

Où en est Timbre

Timbre est notre produit pour cela, et il est disponible. Il clone une voix choisie par le client, uniquement avec le consentement écrit du locuteur, et la met au travail au téléphone, à la réception, pour les réservations et sur le site web. Les appelants savent qu’ils parlent à un assistant, et chaque fois qu’un interlocuteur humain compte davantage, l’appel est transmis à une personne, avec un résumé écrit. Nous le construisons avec des partenaires de la voix et de la téléphonie comme ElevenLabs, et nous l’exploitons nous-mêmes. Alors que le marché se consolide, nous pensons que c’est le bon ordre des choses : les partenaires en dessous peuvent changer, mais pas le consentement, la transparence ni les règles du client.