買収され、ひとまとめになる音声エージェント

会社の電話に応答する音声エージェントは、1つの製品ではなく、連なった鎖です。ある部分が聞き取って音声をテキストに変え、ある部分が依頼を理解して実行し、ある部分が答えを話し、ある部分が電話網やウェブで通話を運びます。これまでは、多くの開発者がこの鎖を複数のベンダーの部品で組み立ててきました。10月後半、その輪が1つの箱に収まって届くようになり、多くの開発者が輪をつなぐのに使うオープンなフレームワークPipecatを生んだ企業が、買収されようとしています。

Deepgramが配管を買う

10月29日、音声認識と音声モデルを手がけるDeepgramは、Dailyを買収すると発表しました。Dailyは音声通話とビデオ通話のためのリアルタイムのインフラを運営し、Pipecatを生み出した企業です。Pipecatは、音声エージェントの中のモデル同士をつなぎ、話者交代の検出や割り込みといった難しい部分を処理するオープンソースのフレームワークです。買収額は公表されていません。Deepgramは「Pipecatフレームワークは、既存のBSD V2ライセンスのもと、完全なオープンソースのまま、すべての開発者に無料で提供され続けます」と書きました。Dailyの共同創業者Kwindla Hultman Kramer氏は、独立したPipecat Foundationが、「Deepgramと競合する企業を含め、リアルタイムAIのエコシステム全体を代表する」運営委員会によって運営されると付け加えました。

同じ日、Deepgramの製品責任者Ed Anuff氏は、Pipecatの上に構築したVoice Agent Platformを予告しました。「Deepgramのホスティングでも、自社のクラウドでも」動かせるものです。まだ提供は始まっていません。「プラットフォームそのものは、まだこれからです。時期はまもなくお知らせします」。同氏によると、ほとんどの音声エージェントは「3つのモデルを一列に並べたもの」で、受け渡しのたびに、言葉以外のほぼすべてが失われます。Deepgramの答えは、鎖全体に責任を負う1つの会社と、ほかのベンダーのモデルとも組み合わせられるフレームワーク、そしてささやき声や聞き取りにくい言葉をあるモデルから次のモデルへ運ぶオープンなプロトコル、Real-Time Context Standardです。

鎖全体を1つの箱に

10月20日、MistralはVoxtral 3を公開しました。文字起こしと音声合成のための新しいモデル群で、LiveKitの上に構築された音声エージェントのキットが付いています。このキットは「聞く、考える、ツールを呼び出す、話すを、1本のリアルタイムのストリーミングパイプラインにまとめる」ものです。Mistralによると、各ターンは1秒未満で完了し、「発信者が話に割り込むと、エージェントは話すのをやめます」。エージェントは電話を受けることもかけることもでき、ブラウザやアプリの中でも動きます。MistralのEU内でホストされるAPI上でも、企業自身のインフラ上でも動作し、推論をMistral Small 4が担う場合の料金は1分あたり4セントです。

ElevenLabsは同じ日にEleven RealtimeをMiniとMaxの2つのバージョンで公開し、「新しいクラスのSpeech to Speechモデル」と呼んでいます。音声が入り、音声が出て、モデル名は1つです。ただしその下は依然として鎖であり、「上で説明したコンポーネントをカスケード型のアーキテクチャで組み、エンドツーエンドで調整したもの」です。ElevenLabsによると、どちらのバージョンも90を超える言語を話し、Artificial Analysisのテストでは、Maxは平均0.57秒で話し始めます。

選ぶ前に試すべきこと

どの発表も、自然な話者交代を約束しています。意味のあるテストは、自社の通話です。考えるために間を置く発信者、文の途中で日にちを変える発信者、エージェントの話にかぶせて話す発信者、騒がしい車の中から電話してくる発信者。ベンチマークではなく自社の電話回線で、エージェントが答えるまでにかかる時間を測り、割り込まれたときに本当に話すのをやめるかどうかに耳を澄ませましょう。

言語にも同じ注意が必要です。私たちが読んだ発表のどれも、スイスドイツ語には触れていません。Mistralは音声出力について50を超える方言を挙げ、Deepgramの新しい音声はドイツ語を話しますが、ベルンからの発信者は標準ドイツ語を話しません。5月に公開されたあるプレプリントは、公表されている中で最も良いスイスドイツ語の結果を支えるテストセットが、「方言の理解よりも、主に表記の慣習との一致を測っている」ことを明らかにしました。書類の上の良いスコアは、自社の発信者の録音ほど多くを証明しません。

箱に入っていないもの

開示は任意ではありません。8月2日以降、EUのAI法（AI Act）は「ユーザーは、本物の人ではなくAIシステムとやり取りしているときには、そのことを明確に知らされなければならない」と定めており、違反には最高1500万ユーロまたは全世界の年間売上高の3パーセントの制裁金が科されます。スイスでは連邦データ保護・情報コミッショナーが、現行法のもとで「ユーザーには、自分が機械と話しているのか、文字でやり取りしているのかを知る法的な権利がある」との立場を取っています。両方を満たす最も簡単な方法は、すべての通話の最初の一文です。

クローンした声には、さらに多くが必要です。コミッショナーは、特定可能な人物の声を偽ることのできるプログラムを使う場合は、常にそのことを明確に示さなければならず、場合によっては刑法上違法となりうると書いています。Mistralは声のクローン機能を提供していますが、その発表は、話者の同意をどう確認するかについて何も述べていません。その部分は、声を使う企業の責任として残ります。話者からの書面による同意と、その記録です。

次に、音声がどこへ行くのかを尋ねましょう。Deepgramは米国、EU、インド、オーストラリアに地域別のエンドポイントを用意しており、処理と保存をその地域内にとどめます。MistralはEU内でホストされるAPIか、自社のサーバーという選択肢を提供しています。通話の録音や文字起こしには通常、個人データが含まれるため、それらをどこに、どれだけの期間保管するかは契約に盛り込むべきです。

鎖を交換可能にしておく

統合そのものは悪いことではありません。鎖全体に責任を負う1つの会社なら、輪と輪のあいだにある問題を解決できます。リスクはその裏側にあります。独立したサプライヤーが少なくなるほど、1社から離れるのは難しくなるのです。

だからこそ、オープンな部品が重要になります。Pipecatは寛容なライセンスのもとにとどまり、その財団はPipecatの中立を保つためのものです。ただし、どちらの発表も委員会のメンバーや日程を明らかにしていません。Mistralによると、そのエージェントの各段階は別々のモデルなので、言語モデル、声、言語を「エージェントを書き直すことなく」変えられます。ElevenLabsはOpenAIのRealtime APIに準拠しているため、乗り換えはアドレスとモデル名を変えるだけで済む場合があります。

私たちの考えはこうです。自社のものである部分は、特定のベンダーの外に置いておくこと。電話番号、知識、価格、ルール、通話の流れ、そしてテストは、サプライヤーが替わっても残るべきです。そうすれば、より良いモデルが出ても、サプライヤーが競合に買収されても、新しいプロジェクトではなく設定の変更で済みます。

Timbreの立ち位置

Timbreは、そのための私たちのプロダクトで、提供中です。クライアントが選んだ声を、話者の書面による同意がある場合にだけクローンし、電話、受付、予約、ウェブサイトで働かせます。発信者にはアシスタントと話していることが伝えられ、人が対応したほうがよい場面では、書面の要約を添えて通話が人に引き継がれます。私たちはElevenLabsをはじめとする音声と電話のパートナーとともにTimbreを構築し、自ら運用しています。市場の統合が進むなかで、これが正しい順序だと私たちは考えています。その下のパートナーは変わるかもしれませんが、同意、開示、そしてクライアントのルールは変わるべきではありません。