Röstagenter, uppköpta och paketerade

En röstagent som svarar i ett företags telefon är inte en produkt utan en kedja. En del lyssnar och gör om tal till text, en förstår ärendet och agerar på det, en uttalar svaret, och en bär samtalet över telefonnätet eller webben. Hittills har många utvecklare satt ihop den kedjan av delar från olika leverantörer. Under andra halvan av oktober började länkarna komma i en och samma låda, och företaget bakom Pipecat, det öppna ramverk som många utvecklare använder för att foga ihop dem, köps upp.

Deepgram köper infrastrukturen

Den 29 oktober meddelade Deepgram, som gör taligenkänning och röstmodeller, att företaget förvärvar Daily. Daily driver realtidsinfrastruktur för ljud- och videosamtal och skapade Pipecat, ett ramverk med öppen källkod som kopplar ihop modellerna i en röstagent och hanterar svåra delar som turtagning och avbrott. Priset offentliggjordes inte. ”Ramverket Pipecat förblir helt öppen källkod och gratis för alla utvecklare under sin befintliga BSD V2-licens”, skrev Deepgram. Dailys medgrundare Kwindla Hultman Kramer tillade att en oberoende Pipecat Foundation kommer att ledas av en styrgrupp ”som representerar hela ekosystemet för realtids-AI, inklusive företag som konkurrerar med Deepgram.”

Samma dag gav Deepgrams produktchef, Ed Anuff, en förhandstitt på en Voice Agent Platform byggd på Pipecat, som ska köras ”hos Deepgram eller i ditt eget moln”. Den har inte lanserats: ”Själva plattformen ligger fortfarande framför oss. Vi återkommer snart om tidsplanen.” De flesta röstagenter, skrev han, är ”tre modeller på rad”, och vid varje överlämning går nästan allt utom orden förlorat. Deepgrams svar är ett enda företag som ansvarar för hela kedjan, på ett ramverk som också fungerar med andra leverantörers modeller, plus ett öppet protokoll, Real-Time Context Standard, som för vidare en viskning eller ett otydligt ord från en modell till nästa.

Hela kedjan i en låda

Den 20 oktober släppte Mistral Voxtral 3, nya modeller för transkribering och tal, med ett paket för röstagenter byggt på LiveKit ”som samlar lyssnande, tänkande, verktygsanrop och tal i en enda strömmande realtidskedja.” Mistral säger att varje tur avslutas på under en sekund och att ”agenten slutar prata när den som ringer avbryter”. Agenten tar emot och ringer telefonsamtal och fungerar i webbläsare och appar. Den körs på Mistrals API med drift i EU eller på ett företags egen infrastruktur, för 4 cent i minuten med Mistral Small 4 för resonemanget.

ElevenLabs släppte Eleven Realtime samma dag, i en Mini- och en Max-version, och kallar det ”en ny klass av tal-till-tal-modeller”: ljud in, ljud ut, ett enda modellnamn. Under ytan är det fortfarande en kedja, ”byggd på en kaskadarkitektur av de komponenter som beskrivs ovan, finjusterad från början till slut.” ElevenLabs säger att båda versionerna talar mer än 90 språk och att Max, i tester av Artificial Analysis, i genomsnitt börjar tala efter 0,57 sekunder.

Vad du bör testa innan du väljer

Varje lansering utlovar naturlig turtagning. Det test som räknas är dina egna samtal: någon som ringer och gör en paus för att tänka, ändrar dag mitt i en mening, pratar i mun på agenten eller ringer från en bullrig bil. Mät hur lång tid agenten tar på sig att svara på din egen telefonlinje, inte i ett benchmarktest, och lyssna efter om den verkligen slutar prata när den blir avbruten.

Språken kräver samma omsorg. Inget av de tillkännagivanden vi läste nämner schweizertyska. Mistral listar mer än 50 dialekter för talutmatning och Deepgrams nya röster talar tyska, men den som ringer från Bern talar inte standardtyska. En förhandspublicerad studie från maj fann att testuppsättningen bakom de bästa publicerade resultaten för schweizertyska ”främst mäter matchning mot konventioner snarare än förståelse av dialekten.” Ett bra resultat på papperet bevisar mindre än inspelningar av dem som faktiskt ringer till dig.

Det som inte följer med i lådan

Öppenhet är inte valfri. Sedan den 2 augusti kräver EU:s AI-förordning (AI Act) att ”användare tydligt ska informeras när de inte interagerar med en verklig person utan med ett AI-system”, med böter på upp till 15 miljoner euro eller 3 procent av den globala årsomsättningen. I Schweiz anser den federala dataskydds- och informationsombudsmannen att ”användare enligt gällande rätt har en laglig rätt att veta om de talar eller korresponderar med en maskin.” Det enklaste sättet att uppfylla båda är den första meningen i varje samtal.

En klonad röst kräver mer. Ombudsmannen skriver att användning av program som kan förfalska rösten hos en identifierbar person alltid måste anges tydligt, och i vissa fall kan vara olaglig enligt straffrätten. Mistral erbjuder röstkloning, och företagets tillkännagivande säger ingenting om hur talarens samtycke kontrolleras. Den delen ligger kvar hos företaget som använder rösten: skriftligt samtycke från talaren, och dokumentation av det.

Fråga sedan vart ljudet tar vägen. Deepgram erbjuder regionala ändpunkter i USA, EU, Indien och Australien som håller bearbetning och lagring inom regionen. Mistral erbjuder sitt API med drift i EU eller dina egna servrar. Samtalsinspelningar och transkriptioner innehåller oftast personuppgifter, så var de lagras, och hur länge, hör hemma i avtalet.

Håll kedjan utbytbar

Konsolidering är inte dåligt i sig. Ett företag som ansvarar för hela kedjan kan lösa problem som sitter mellan länkarna. Risken är baksidan av det: ju färre oberoende leverantörer det finns, desto svårare är det att lämna en.

Därför spelar de öppna delarna roll. Pipecat förblir under en tillåtande licens, och stiftelsen ska hålla ramverket neutralt, även om inget av tillkännagivandena nämner någon ledamot i styrgruppen eller något datum. Mistral säger att varje steg i dess agent är en separat modell, så att språkmodellen, rösten eller språket kan bytas ”utan att agenten behöver skrivas om”. ElevenLabs följer OpenAIs Realtime API, så ett byte kan innebära att man ändrar en adress och ett modellnamn.

Vår uppfattning: håll de delar som är dina utanför varje leverantör. Ditt telefonnummer, din kunskap, dina priser och regler, dina samtalsflöden och dina tester ska överleva ett leverantörsbyte. Då blir en bättre modell, eller en leverantör som köps av en konkurrent, en ändring av inställningar och inte ett nytt projekt.

Var Timbre står

Timbre är vår produkt för detta, och den är live. Den klonar en röst som kunden väljer, bara med talarens skriftliga samtycke, och sätter den i arbete i telefonen, i receptionen, vid bokningar och på webbplatsen. De som ringer får veta att de talar med en assistent, och närhelst en människa betyder mer går samtalet vidare till en sådan, med en skriftlig sammanfattning. Vi bygger den med röst- och telefonipartner som ElevenLabs och driver den själva. När marknaden konsolideras tror vi att det är rätt ordning: partnerna under ytan kan bytas, men samtycket, öppenheten och kundens regler ska inte göra det.