Agenti vocali, tra acquisizioni e pacchetti completi

Un agente vocale che risponde al telefono di un’azienda non è un prodotto, ma una catena. Una parte ascolta e trasforma il parlato in testo, una comprende la richiesta e agisce di conseguenza, una pronuncia la risposta e una trasporta la chiamata sulla rete telefonica o sul web. Finora molti sviluppatori hanno assemblato questa catena con fornitori diversi. Nella seconda metà di ottobre gli anelli hanno cominciato ad arrivare in un’unica scatola, e l’azienda dietro Pipecat, il framework aperto che molti sviluppatori usano per collegarli, sta per essere acquisita.

Deepgram compra l’infrastruttura

Il 29 ottobre Deepgram, che sviluppa modelli per il riconoscimento e la sintesi vocale, ha annunciato l’acquisizione di Daily. Daily gestisce un’infrastruttura in tempo reale per chiamate audio e video e ha creato Pipecat, un framework open source che collega i modelli di un agente vocale e si occupa delle parti difficili, come il rilevamento dei turni di parola e le interruzioni. Il prezzo non è stato reso noto. «Il framework Pipecat resterà completamente open source e gratuito per tutti gli sviluppatori con la sua attuale licenza BSD V2», ha scritto Deepgram. Il cofondatore di Daily, Kwindla Hultman Kramer, ha aggiunto che una Pipecat Foundation indipendente sarà guidata da un comitato direttivo «che rappresenta l’intero ecosistema dell’IA in tempo reale, comprese le aziende che fanno concorrenza a Deepgram».

Lo stesso giorno il responsabile di prodotto di Deepgram, Ed Anuff, ha presentato in anteprima una Voice Agent Platform basata su Pipecat, da far girare «in hosting da Deepgram o nel vostro cloud». Non è ancora stata lanciata: «La piattaforma vera e propria deve ancora arrivare. Comunicheremo presto le tempistiche». La maggior parte degli agenti vocali, ha scritto, sono «tre modelli in fila», e a ogni passaggio di consegne va perso quasi tutto tranne le parole. La risposta di Deepgram è un’unica azienda responsabile dell’intera catena, su un framework che funziona anche con i modelli di altri fornitori, più un protocollo aperto, il Real-Time Context Standard, che trasporta un sussurro o una parola poco chiara da un modello all’altro.

L’intera catena in un’unica scatola

Il 20 ottobre Mistral ha rilasciato Voxtral 3, nuovi modelli per la trascrizione e la sintesi vocale con un kit per agenti vocali basato su LiveKit «che riunisce ascolto, ragionamento, chiamata di strumenti e parlato in un’unica pipeline di streaming in tempo reale». Mistral dice che ogni turno si completa in meno di un secondo e che «l’agente smette di parlare quando chi chiama lo interrompe». L’agente riceve ed effettua telefonate e funziona nei browser e nelle app. Gira sull’API di Mistral ospitata nell’UE o sull’infrastruttura di un’azienda, per 4 centesimi al minuto, con Mistral Small 4 che si occupa del ragionamento.

ElevenLabs ha rilasciato lo stesso giorno Eleven Realtime, in una versione Mini e in una Max, e lo definisce «una nuova classe di modelli Speech to Speech»: audio in ingresso, audio in uscita, un solo nome di modello. Sotto c’è comunque una catena, «costruita su un’architettura a cascata dei componenti descritti sopra, ottimizzata da un capo all’altro». ElevenLabs dice che entrambe le versioni parlano più di 90 lingue e che, nei test di Artificial Analysis, Max inizia a parlare in media dopo 0,57 secondi.

Che cosa testare prima di scegliere

Ogni lancio promette turni di parola naturali. Il test che conta sono le vostre chiamate: chi si ferma a pensare, cambia giorno a metà frase, parla sopra l’agente o telefona da un’auto rumorosa. Misurate quanto impiega l’agente a rispondere sulla vostra linea telefonica, non in un benchmark, e ascoltate se si ferma davvero quando viene interrotto.

Le lingue richiedono la stessa attenzione. Nessuno degli annunci che abbiamo letto cita lo svizzero tedesco. Mistral elenca più di 50 dialetti per l’output vocale e le nuove voci di Deepgram parlano tedesco, ma chi chiama da Berna non parla tedesco standard. Un preprint pubblicato a maggio ha rilevato che il set di test alla base dei migliori risultati pubblicati per lo svizzero tedesco «misura soprattutto l’aderenza alle convenzioni più che la comprensione del dialetto». Un buon punteggio sulla carta dimostra meno delle registrazioni di chi vi chiama davvero.

Che cosa non c’è nella scatola

La trasparenza non è facoltativa. Dal 2 agosto l’AI Act dell’UE impone che «gli utenti siano chiaramente informati quando non interagiscono con una persona reale, ma con un sistema di IA», con sanzioni fino a 15 milioni di euro o al 3 per cento del fatturato annuo mondiale. In Svizzera l’Incaricato federale della protezione dei dati e della trasparenza ritiene che in base al diritto vigente «gli utenti hanno il diritto legale di sapere se stanno parlando o corrispondendo con una macchina». Il modo più semplice per rispettare entrambi è la prima frase di ogni chiamata.

Una voce clonata richiede di più. L’Incaricato scrive che l’uso di programmi in grado di falsificare la voce di una persona identificabile deve sempre essere chiaramente segnalato, e in alcuni casi può essere illecito secondo il diritto penale. Mistral offre la clonazione vocale, e il suo annuncio non dice nulla su come venga verificato il consenso di chi presta la voce. Questa parte resta all’azienda che usa la voce: il consenso scritto di chi la presta, e una traccia documentata.

Poi chiedete dove va l’audio. Deepgram offre endpoint regionali negli Stati Uniti, nell’UE, in India e in Australia che mantengono elaborazione e archiviazione nella regione. Mistral offre la sua API ospitata nell’UE oppure i vostri server. Registrazioni e trascrizioni delle chiamate contengono di solito dati personali, quindi dove vengono conservate, e per quanto tempo, va scritto nel contratto.

Mantenere la catena sostituibile

Il consolidamento non è un male in sé. Un’unica azienda responsabile dell’intera catena può risolvere i problemi che stanno tra un anello e l’altro. Il rischio è il rovescio della medaglia: meno fornitori indipendenti ci sono, più è difficile lasciarne uno.

Ecco perché i pezzi aperti contano. Pipecat resta sotto una licenza permissiva, e la sua fondazione dovrebbe mantenerlo neutrale, anche se nessuno dei due annunci nomina un membro del comitato o una data. Mistral dice che ogni fase del suo agente è un modello separato, quindi il modello linguistico, la voce o la lingua possono cambiare «senza riscrivere l’agente». ElevenLabs segue la Realtime API di OpenAI, quindi cambiare può voler dire modificare un indirizzo e il nome di un modello.

La nostra opinione: tenete le parti che sono vostre al di fuori di qualsiasi fornitore. Il vostro numero di telefono, le vostre conoscenze, i prezzi e le regole, i flussi delle chiamate e i test dovrebbero sopravvivere a un cambio di fornitore. Così un modello migliore, o un fornitore acquistato da un concorrente, diventa una modifica delle impostazioni e non un nuovo progetto.

A che punto è Timbre

Timbre è il nostro prodotto per questo, ed è disponibile. Clona una voce scelta dal cliente, solo con il consenso scritto di chi la presta, e la mette al lavoro al telefono, alla reception, nelle prenotazioni e sul sito web. Chi chiama viene informato che sta parlando con un assistente, e quando è più importante un interlocutore umano, la chiamata passa a una persona insieme a un riepilogo scritto. Lo costruiamo con partner per la voce e la telefonia come ElevenLabs e lo gestiamo noi stessi. Mentre il mercato si consolida, pensiamo che sia l’ordine giusto: i partner sottostanti possono cambiare, ma il consenso, la trasparenza e le regole del cliente no.