Sprachagenten, gekauft und gebündelt

Ein Sprachagent, der für ein Unternehmen ans Telefon geht, ist nicht ein Produkt, sondern eine Kette. Ein Teil hört zu und verwandelt Sprache in Text, einer versteht das Anliegen und handelt danach, einer spricht die Antwort, und einer trägt den Anruf über das Telefonnetz oder das Web. Bisher haben viele Entwickler diese Kette aus Bausteinen verschiedener Anbieter zusammengesetzt. In der zweiten Oktoberhälfte begannen die Glieder in einem einzigen Paket zu kommen, und das Unternehmen hinter Pipecat, dem offenen Framework, mit dem viele Entwickler sie verbinden, wird gekauft.

Deepgram kauft die Leitungen

Am 29. Oktober gab Deepgram, das Spracherkennung und Sprachmodelle entwickelt, die Übernahme von Daily bekannt. Daily betreibt Echtzeit-Infrastruktur für Audio- und Videoanrufe und hat Pipecat geschaffen, ein Open-Source-Framework, das die Modelle in einem Sprachagenten verbindet und schwierige Teile wie die Erkennung von Sprecherwechseln und Unterbrechungen übernimmt. Der Preis wurde nicht genannt. «Das Pipecat-Framework bleibt vollständig Open Source und für alle Entwickler kostenlos, unter seiner bestehenden BSD-V2-Lizenz», schrieb Deepgram. Dailys Mitgründer Kwindla Hultman Kramer ergänzte, eine unabhängige Pipecat Foundation werde von einem Lenkungsausschuss geführt, «der das gesamte Ökosystem der Echtzeit-KI vertritt, einschliesslich Unternehmen, die mit Deepgram konkurrieren».

Am selben Tag gab Deepgrams Produktchef Ed Anuff einen Ausblick auf eine Voice Agent Platform auf Basis von Pipecat, die «gehostet von Deepgram oder in Ihrer eigenen Cloud» laufen soll. Lanciert ist sie noch nicht: «Die Plattform selbst kommt erst noch. Den Zeitplan teilen wir bald mit.» Die meisten Sprachagenten, schrieb er, seien «drei Modelle hintereinander», und bei jeder Übergabe gehe fast alles ausser den Worten verloren. Deepgrams Antwort ist ein einziges Unternehmen, das für die ganze Kette verantwortlich ist, auf einem Framework, das auch mit Modellen anderer Anbieter funktioniert, dazu der Real-Time Context Standard, ein offenes Protokoll, das ein Flüstern oder ein undeutliches Wort von einem Modell zum nächsten weiterträgt.

Die ganze Kette in einem Paket

Am 20. Oktober veröffentlichte Mistral Voxtral 3, neue Modelle für Transkription und Sprachausgabe, mit einem Baukasten für Sprachagenten auf Basis von LiveKit, «der Zuhören, Denken, Tool-Aufrufe und Sprechen in einer einzigen Echtzeit-Streaming-Pipeline zusammenführt». Laut Mistral ist jeder Gesprächsschritt in unter einer Sekunde abgeschlossen, und «der Agent hört auf zu sprechen, wenn der Anrufer dazwischenredet». Der Agent nimmt Anrufe entgegen, ruft selbst an und funktioniert in Browsern und Apps. Er läuft über Mistrals in der EU gehostete API oder auf der eigenen Infrastruktur eines Unternehmens, für 4 Cent pro Minute, wenn Mistral Small 4 das Reasoning übernimmt.

ElevenLabs veröffentlichte am selben Tag Eleven Realtime, in einer Version Mini und einer Version Max, und nennt es «eine neue Klasse von Sprache-zu-Sprache-Modellen»: Audio rein, Audio raus, ein Modellname. Darunter steckt weiterhin eine Kette, «aufgebaut auf einer kaskadierten Architektur aus den oben beschriebenen Komponenten, durchgängig abgestimmt». Laut ElevenLabs sprechen beide Versionen mehr als 90 Sprachen, und in Tests von Artificial Analysis beginnt Max im Schnitt nach 0,57 Sekunden zu sprechen.

Was Sie testen sollten, bevor Sie wählen

Jede Lancierung verspricht natürliche Sprecherwechsel. Der Test, der zählt, sind Ihre eigenen Anrufe: ein Anrufer, der innehält, um nachzudenken, mitten im Satz den Tag ändert, dem Agenten ins Wort fällt oder aus einem lauten Auto anruft. Messen Sie, wie lange der Agent auf Ihrer eigenen Telefonleitung für eine Antwort braucht, nicht in einem Benchmark, und hören Sie hin, ob er wirklich aufhört, wenn man ihn unterbricht.

Sprachen verlangen dieselbe Sorgfalt. Keine der Ankündigungen, die wir gelesen haben, nennt Schweizerdeutsch. Mistral führt für die Sprachausgabe mehr als 50 Dialekte auf, und die neuen Stimmen von Deepgram sprechen Deutsch, aber ein Anrufer aus Bern spricht nicht Hochdeutsch. Ein im Mai veröffentlichter Preprint kam zum Schluss, dass der Testdatensatz hinter den besten publizierten Ergebnissen für Schweizerdeutsch «in erster Linie die Übereinstimmung mit Konventionen misst und nicht das Verständnis des Dialekts». Ein gutes Ergebnis auf dem Papier beweist weniger als Aufnahmen Ihrer eigenen Anrufer.

Was nicht im Paket steckt

Die Offenlegung ist nicht freiwillig. Seit dem 2. August verlangt die EU-KI-Verordnung (AI Act), dass «Nutzerinnen und Nutzer klar informiert werden müssen, wenn sie nicht mit einer echten Person, sondern mit einem KI-System interagieren», bei Bussen von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes. In der Schweiz hält der Eidgenössische Datenschutz- und Öffentlichkeitsbeauftragte fest, dass nach geltendem Recht «Nutzerinnen und Nutzer einen rechtlichen Anspruch darauf haben zu wissen, ob sie mit einer Maschine sprechen oder korrespondieren». Am einfachsten erfüllt man beides mit dem ersten Satz jedes Anrufs.

Eine geklonte Stimme verlangt mehr. Der Beauftragte schreibt, dass der Einsatz von Programmen, die die Stimme einer identifizierbaren Person fälschen können, stets klar gekennzeichnet werden muss und in manchen Fällen strafrechtlich unzulässig sein kann. Mistral bietet das Klonen von Stimmen an, und seine Ankündigung sagt nichts darüber, wie die Einwilligung der sprechenden Person geprüft wird. Dieser Teil bleibt beim Unternehmen, das die Stimme nutzt: eine schriftliche Einwilligung der sprechenden Person und ein Nachweis darüber.

Fragen Sie dann, wohin das Audio geht. Deepgram bietet regionale Endpunkte in den USA, der EU, Indien und Australien, die Verarbeitung und Speicherung in der Region halten. Mistral bietet seine in der EU gehostete API oder Ihre eigenen Server. Gesprächsaufnahmen und Transkripte enthalten meist Personendaten, deshalb gehört in den Vertrag, wo sie aufbewahrt werden und wie lange.

Halten Sie die Kette austauschbar

Konsolidierung ist an sich nichts Schlechtes. Ein Unternehmen, das für die ganze Kette verantwortlich ist, kann Probleme beheben, die zwischen den Gliedern liegen. Das Risiko ist die Kehrseite davon: Je weniger unabhängige Anbieter es gibt, desto schwerer ist es, einen zu verlassen.

Deshalb zählen die offenen Teile. Pipecat bleibt unter einer freizügigen Lizenz, und seine Stiftung soll es neutral halten, auch wenn keine der beiden Ankündigungen ein Mitglied des Ausschusses oder ein Datum nennt. Laut Mistral ist jede Stufe seines Agenten ein eigenes Modell, sodass sich Sprachmodell, Stimme oder Sprache ändern lassen, «ohne den Agenten neu zu schreiben». ElevenLabs folgt der Realtime API von OpenAI, ein Wechsel kann also bedeuten, eine Adresse und einen Modellnamen zu ändern.

Unsere Sicht: Halten Sie die Teile, die Ihnen gehören, ausserhalb jedes Anbieters. Ihre Telefonnummer, Ihr Wissen, Ihre Preise und Regeln, Ihre Gesprächsabläufe und Ihre Tests sollten einen Anbieterwechsel überstehen. Dann ist ein besseres Modell oder ein Anbieter, den ein Konkurrent gekauft hat, eine Änderung der Einstellungen und kein neues Projekt.

Wo Timbre steht

Timbre ist unser Produkt dafür, und es ist live. Es klont eine Stimme, die ein Kunde wählt, nur mit schriftlicher Einwilligung der sprechenden Person, und setzt sie am Telefon, am Empfang, bei Buchungen und auf der Website ein. Anrufer erfahren, dass sie mit einem Assistenten sprechen, und wann immer ein Mensch wichtiger ist, geht der Anruf mit einer schriftlichen Zusammenfassung an einen Menschen. Wir bauen es mit Stimm- und Telefoniepartnern wie ElevenLabs und betreiben es selbst. Während sich der Markt konsolidiert, halten wir das für die richtige Reihenfolge: Die Partner darunter können wechseln, aber die Einwilligung, die Offenlegung und die Regeln des Kunden sollten es nicht.