Голосовые агенты: поглощения и решения «всё в одном»

Голосовой агент, который отвечает на звонки в компании, является не одним продуктом, а цепочкой. Одно звено слушает и превращает речь в текст, другое понимает запрос и выполняет его, третье произносит ответ, а четвёртое передаёт звонок по телефонной сети или через интернет. До сих пор многие разработчики собирали эту цепочку из решений разных поставщиков. Во второй половине октября звенья начали поставляться в одной коробке, а компанию, которая стоит за Pipecat, открытым фреймворком, с помощью которого многие разработчики их соединяют, покупают.

Deepgram покупает инфраструктуру

29 октября Deepgram, которая создаёт модели распознавания речи и голосовые модели, объявила о покупке Daily. Daily управляет инфраструктурой для аудио- и видеозвонков в реальном времени и создала Pipecat, фреймворк с открытым исходным кодом, который соединяет модели внутри голосового агента и берёт на себя сложные задачи, такие как определение очерёдности реплик и обработка перебиваний. Сумма сделки не раскрывается. Deepgram написала: «Фреймворк Pipecat останется полностью открытым и бесплатным для всех разработчиков по его действующей лицензии BSD V2». Сооснователь Daily Квиндла Халтман Крамер добавил, что независимым фондом Pipecat Foundation будет руководить управляющий комитет, «представляющий всю экосистему ИИ реального времени, включая компании, которые конкурируют с Deepgram».

В тот же день директор Deepgram по продукту Эд Энафф представил предварительный обзор Voice Agent Platform на базе Pipecat, которая будет работать «на хостинге Deepgram или в вашем собственном облаке». Платформа ещё не запущена: «Сама платформа ещё впереди. О сроках сообщим в ближайшее время». Большинство голосовых агентов, написал он, представляют собой «три модели подряд», и при каждой передаче теряется почти всё, кроме слов. Ответ Deepgram: одна компания, которая отвечает за всю цепочку, на фреймворке, который работает и с моделями других поставщиков, плюс открытый протокол Real-Time Context Standard, который передаёт шёпот или неразборчивое слово от одной модели к следующей.

Вся цепочка в одной коробке

20 октября Mistral выпустила Voxtral 3, новые модели для транскрипции и синтеза речи с набором для голосовых агентов на базе LiveKit, «который объединяет слушание, мышление, вызов инструментов и речь в единый потоковый конвейер реального времени». По словам Mistral, каждая реплика укладывается менее чем в одну секунду, а «агент замолкает, когда собеседник его перебивает». Агент принимает и совершает телефонные звонки и работает в браузерах и приложениях. Он запускается через API Mistral с хостингом в ЕС или на собственной инфраструктуре компании и стоит 4 цента в минуту, если за рассуждения отвечает Mistral Small 4.

В тот же день ElevenLabs выпустила Eleven Realtime в версиях Mini и Max и называет его «новым классом моделей преобразования речи в речь»: на входе аудио, на выходе аудио, одно название модели. Внутри это по-прежнему цепочка, «построенная на каскадной архитектуре из описанных выше компонентов, настроенной от начала до конца». По словам ElevenLabs, обе версии говорят более чем на 90 языках, а в тестах Artificial Analysis версия Max начинает говорить в среднем через 0,57 секунды.

Что проверить, прежде чем выбирать

Каждый запуск обещает естественную смену реплик. Значение имеет проверка на ваших собственных звонках: собеседник, который делает паузу, чтобы подумать, на середине фразы меняет день, говорит поверх агента или звонит из шумной машины. Измерьте, сколько времени агенту нужно на ответ на вашей собственной телефонной линии, а не в бенчмарке, и прислушайтесь, действительно ли он замолкает, когда его перебивают.

Языки требуют такого же внимания. Ни в одном из прочитанных нами анонсов не упоминается швейцарский немецкий. Mistral перечисляет более 50 диалектов для синтеза речи, а новые голоса Deepgram говорят по-немецки, но собеседник из Берна говорит не на литературном немецком. Препринт, опубликованный в мае, показал, что тестовый набор, на котором получены лучшие опубликованные результаты для швейцарского немецкого, «в первую очередь измеряет соответствие конвенциям, а не понимание диалекта». Хорошая оценка на бумаге доказывает меньше, чем записи ваших собственных звонящих.

Чего нет в коробке

Раскрытие обязательно. С 2 августа Регламент ЕС об ИИ (AI Act) требует, чтобы «пользователи были чётко проинформированы, когда они взаимодействуют не с реальным человеком, а с системой ИИ», и предусматривает штрафы до 15 миллионов евро или 3 процентов мирового годового оборота. В Швейцарии Федеральный уполномоченный по защите данных и информации считает, что по действующему законодательству «пользователи имеют законное право знать, говорят ли они или переписываются с машиной». Проще всего выполнить оба требования первой фразой каждого звонка.

Клонированный голос требует большего. Уполномоченный пишет, что использование программ, способных подделать голос идентифицируемого человека, всегда должно быть чётко обозначено, а в некоторых случаях может быть противоправным с точки зрения уголовного права. Mistral предлагает клонирование голоса, и в её анонсе ничего не сказано о том, как проверяется согласие говорящего. Эта часть остаётся за компанией, которая использует голос: письменное согласие говорящего и документальное подтверждение этого согласия.

Затем спросите, куда уходит аудио. Deepgram предлагает региональные эндпоинты в США, ЕС, Индии и Австралии, которые оставляют обработку и хранение в пределах региона. Mistral предлагает свой API с хостингом в ЕС или ваши собственные серверы. Записи и расшифровки звонков обычно содержат персональные данные, поэтому то, где и как долго они хранятся, должно быть прописано в договоре.

Пусть цепочку можно будет заменить

Консолидация сама по себе не плоха. Одна компания, которая отвечает за всю цепочку, может устранять проблемы, возникающие между звеньями. Риск находится на обратной стороне: чем меньше независимых поставщиков, тем труднее уйти от одного из них.

Поэтому открытые компоненты так важны. Pipecat остаётся под разрешительной лицензией, а его фонд должен обеспечить ему нейтральность, хотя ни в одном из анонсов не названы ни члены комитета, ни сроки. Mistral говорит, что каждый этап её агента является отдельной моделью, так что языковую модель, голос или язык можно поменять «без переписывания агента». ElevenLabs следует Realtime API от OpenAI, так что переход может свестись к смене адреса и названия модели.

На наш взгляд, то, что принадлежит вам, стоит держать вне любого поставщика. Ваш номер телефона, ваши знания, цены и правила, ваши сценарии звонков и ваши тесты должны пережить смену поставщика. Тогда более сильная модель или поставщик, купленный конкурентом, означают изменение настроек, а не новый проект.

Timbre: наша позиция

Timbre является нашим продуктом для этой задачи, и он уже доступен. Он клонирует голос, выбранный клиентом, только с письменного согласия говорящего, и использует его на телефоне, на ресепшене, при бронировании и на сайте. Звонящим сообщают, что они говорят с ассистентом, а когда важнее участие человека, звонок переходит к человеку вместе с письменной сводкой. Мы строим его вместе с партнёрами по голосу и телефонии, такими как ElevenLabs, и сами обеспечиваем его работу. Пока рынок консолидируется, мы считаем такой порядок правильным: партнёры в основе могут меняться, а согласие, раскрытие и правила клиента меняться не должны.