语音智能体：被收购，被打包

替企业接听电话的语音智能体不是一款产品，而是一条链。一个环节负责聆听并把语音转成文字，一个负责理解请求并据此行动，一个负责把回答说出来，还有一个负责通过电话网络或互联网传送通话。到目前为止，许多开发者都是用不同供应商的组件拼出这条链的。10 月下半月，这些环节开始被装进同一个盒子里，而 Pipecat 背后的公司也正在被收购。Pipecat 是许多开发者用来连接这些环节的开放框架。

Deepgram 买下了管道

10 月 29 日，开发语音识别和语音模型的 Deepgram 宣布正在收购 Daily。Daily 运营音频和视频通话的实时基础设施，并创建了 Pipecat。这是一个开源框架，负责连接语音智能体中的各个模型，并处理话轮检测和打断等难点。收购价格未予披露。Deepgram 写道：“Pipecat 框架将继续完全开源，并依据其现有的 BSD V2 许可证对所有开发者免费开放。”Daily 的联合创始人 Kwindla Hultman Kramer 补充说，一个独立的 Pipecat 基金会将由一个指导委员会管理，该委员会“代表整个实时 AI 生态系统，包括与 Deepgram 竞争的公司。”

同一天，Deepgram 的产品负责人 Ed Anuff 预告了一个基于 Pipecat 构建的 Voice Agent Platform，可以“由 Deepgram 托管，或在您自己的云中”运行。它尚未推出：“平台本身还在后面。我们很快会公布时间。”他写道，大多数语音智能体是“三个模型排成一排”，每交接一次，除了字词之外几乎所有信息都会丢失。Deepgram 的答案是由一家公司对整条链负责，所用的框架也兼容其他供应商的模型，再加上一个开放协议 Real-Time Context Standard，它能把一句耳语或一个含糊的词从一个模型传递到下一个模型。

整条链装进一个盒子

10 月 20 日，Mistral 发布了 Voxtral 3，这是一组用于转录和语音的新模型，附带一套基于 LiveKit 构建的语音智能体套件，它“把聆听、思考、工具调用和说话整合进一条单一的实时流式管道。”Mistral 表示，每个话轮都能在一秒之内完成，而且“来电者一插话，智能体就会停下来”。该智能体可以接听和拨打电话，也能在浏览器和应用中工作。它运行在 Mistral 托管于欧盟的 API 上，或企业自己的基础设施上，由 Mistral Small 4 负责推理时，每分钟收费 4 美分。

ElevenLabs 在同一天发布了 Eleven Realtime，分为 Mini 和 Max 两个版本，并称之为“一类新的语音到语音模型”：音频进，音频出，只有一个模型名称。但在底层，它仍然是一条链，“基于上述组件的级联架构构建，并经过端到端调校。”ElevenLabs 表示，两个版本都能说 90 多种语言，而且在 Artificial Analysis 的测试中，Max 平均在 0.57 秒后开始说话。

做出选择之前要测试什么

每一次发布都承诺自然的话轮转换。真正算数的测试是您自己的通话：来电者停下来思考，话说到一半改了日期，和智能体抢话，或者在嘈杂的车里打来电话。在您自己的电话线路上，而不是在基准测试中，测量智能体需要多长时间才回应，并仔细听它被打断时是否真的会停下来。

语言也需要同样细心。我们读到的所有公告都没有提到瑞士德语。Mistral 列出了 50 多种可用于语音输出的方言，Deepgram 的新声音也会说德语，但来自伯尔尼的来电者说的并不是标准德语。5 月发表的一篇预印本论文发现，支撑目前已发表的最佳瑞士德语成绩的测试集“主要衡量的是对转写惯例的匹配，而不是对方言的理解。”纸面上的好成绩，不如您自己来电者的录音更有说服力。

盒子里没有的东西

告知并非可选项。自 8 月 2 日起，欧盟《人工智能法案》要求“当用户并非在与真人互动，而是在与 AI 系统互动时，必须清楚地告知用户”，违者最高可处 1500 万欧元或全球年营业额百分之三的罚款。在瑞士，联邦数据保护和信息专员认为，根据现行法律，“用户依法有权知道自己是在与机器交谈还是通信。”同时满足这两项要求最简单的办法，就是每通电话的第一句话。

克隆的声音需要更多措施。这位专员写道，使用能够伪造可识别个人声音的程序，必须始终明确标示，在某些情况下还可能触犯刑法。Mistral 提供声音克隆功能，但其公告只字未提如何核实说话者的同意。这部分责任仍在使用该声音的企业身上：取得说话者的书面同意，并留存记录。

接下来要问音频去了哪里。Deepgram 在美国、欧盟、印度和澳大利亚提供区域端点，把处理和存储都留在该区域内。Mistral 提供托管于欧盟的 API，或您自己的服务器。通话录音和文字记录通常包含个人数据，因此它们存放在哪里、保存多久，都应写进合同。

让这条链保持可替换

整合本身并不是坏事。由一家公司对整条链负责，就能解决环节之间的问题。风险在于它的另一面：独立供应商越少，就越难离开其中一家。

这就是开放组件的重要之处。Pipecat 继续采用宽松许可证，其基金会旨在让它保持中立，尽管两份公告都没有说出任何一位委员会成员的名字或任何时间。Mistral 表示，其智能体的每个阶段都是一个独立的模型，因此可以更换语言模型、声音或语种，“而无需重写智能体”。ElevenLabs 遵循 OpenAI 的 Realtime API，因此切换可能只意味着更改一个地址和一个模型名称。

我们的看法是：把属于您的部分放在任何供应商之外。您的电话号码，您的知识、价格和规则，您的通话流程和测试，都应当在更换供应商之后依然保留。这样一来，无论是出现了更好的模型，还是供应商被竞争对手收购，都只需更改设置，而不必另起一个新项目。

Timbre 的立场

Timbre 是我们为此打造的产品，已经上线。它只在取得说话者书面同意的前提下，克隆客户选定的声音，并让它在电话、前台、预约和网站上工作。来电者会被告知自己正在与一个助手交谈；每当真人更重要时，通话就会连同一份书面摘要转给一位真人。我们与 ElevenLabs 等语音和电话合作伙伴一起构建它，并由我们自己运营。在市场不断整合之际，我们认为这才是正确的次序：底层的合作伙伴可以更换，但同意、告知和客户的规则不应改变。