סוכנים קוליים, נרכשים וארוזים יחד

סוכן קולי שעונה לטלפון של חברה אינו מוצר אחד אלא שרשרת. חלק אחד מקשיב והופך דיבור לטקסט, חלק אחד מבין את הבקשה ופועל לפיה, חלק אחד אומר את התשובה בקול, וחלק אחד מעביר את השיחה ברשת הטלפון או באינטרנט. עד עכשיו מפתחים רבים הרכיבו את השרשרת הזו מספקים שונים. במחצית השנייה של אוקטובר החוליות התחילו להגיע בקופסה אחת, והחברה שמאחורי Pipecat, המסגרת הפתוחה שמפתחים רבים משתמשים בה כדי לחבר אותן, נרכשת.

Deepgram קונה את הצנרת

ב־29 באוקטובר הודיעה Deepgram, שמפתחת מודלים לזיהוי דיבור ולקול, שהיא רוכשת את Daily. Daily מפעילה תשתית בזמן אמת לשיחות אודיו ווידאו, והיא שיצרה את Pipecat, מסגרת קוד פתוח שמחברת את המודלים בסוכן קולי ומטפלת בחלקים הקשים, כמו זיהוי חילופי תורות וקטיעות. המחיר לא נחשף. "מסגרת Pipecat תישאר קוד פתוח לגמרי וחינמית לכל המפתחים תחת רישיון BSD V2 הקיים שלה," כתבה Deepgram. המייסד השותף של Daily, קווינדלה הולטמן קרמר, הוסיף שקרן Pipecat עצמאית (Pipecat Foundation) תנוהל בידי ועדת היגוי "שמייצגת את כל האקוסיסטם של AI בזמן אמת, כולל חברות שמתחרות ב־Deepgram."

באותו יום הציג מנהל המוצר הראשי של Deepgram, אד אנוף, הצצה ל־Voice Agent Platform שבנויה על Pipecat ותרוץ "באירוח של Deepgram או בענן שלכם". היא עוד לא הושקה: "הפלטפורמה עצמה עוד לפנינו. נשתף את לוח הזמנים בקרוב." רוב הסוכנים הקוליים, כתב, הם "שלושה מודלים בשורה", ובכל העברה ביניהם הולך לאיבוד כמעט כל מה שאינו המילים. התשובה של Deepgram היא חברה אחת שאחראית לשרשרת כולה, על מסגרת שעובדת גם עם מודלים של ספקים אחרים, ועוד פרוטוקול פתוח, Real-Time Context Standard, שמעביר לחישה או מילה לא ברורה ממודל אחד למודל הבא.

השרשרת כולה בקופסה אחת

ב־20 באוקטובר שחררה Mistral את Voxtral 3, מודלים חדשים לתמלול ולדיבור, עם ערכה לבניית סוכן קולי על בסיס LiveKit "שמאגדת הקשבה, חשיבה, קריאה לכלים ודיבור בצינור הזרמה אחד בזמן אמת." לדברי Mistral כל תור מסתיים בפחות משנייה, ו"הסוכן מפסיק לדבר כשמי שמתקשר קוטע אותו". הסוכן מקבל ומוציא שיחות טלפון ועובד בדפדפנים ובאפליקציות. הוא רץ על ה־API של Mistral שמתארח באיחוד האירופי או על התשתית של החברה עצמה, ב־4 סנט לדקה כש־Mistral Small 4 אחראי על החשיבה.

ElevenLabs שחררה באותו יום את Eleven Realtime, בגרסת Mini ובגרסת Max, ומכנה אותו "סוג חדש של מודלים מדיבור לדיבור": אודיו נכנס, אודיו יוצא, שם מודל אחד. מתחת לפני השטח זו עדיין שרשרת, "שבנויה על ארכיטקטורה מדורגת של הרכיבים שתוארו לעיל, מכווננת מקצה לקצה." לדברי ElevenLabs שתי הגרסאות מדברות יותר מ־90 שפות, ובבדיקות של Artificial Analysis, Max מתחיל לדבר אחרי 0.57 שניות בממוצע.

מה לבדוק לפני שבוחרים

כל השקה מבטיחה חילופי תורות טבעיים. המבחן שקובע הוא השיחות שלכם: מתקשר שעוצר לחשוב, משנה את היום באמצע משפט, מדבר מעל הסוכן או מתקשר ממכונית רועשת. מדדו כמה זמן לוקח לסוכן לענות על קו הטלפון שלכם, לא במבחן ביצועים, והקשיבו אם הוא באמת עוצר כשקוטעים אותו.

שפות דורשות אותה תשומת לב. אף אחת מההכרזות שקראנו לא מזכירה גרמנית שווייצרית. Mistral מונה יותר מ־50 ניבים לפלט דיבור, והקולות החדשים של Deepgram מדברים גרמנית, אבל מתקשר מברן לא מדבר גרמנית תקנית. מאמר טרום פרסום (preprint) שיצא במאי מצא שסט הבדיקה שמאחורי התוצאות הטובות ביותר שפורסמו לגרמנית שווייצרית "מודד בעיקר התאמה למוסכמות ולא הבנה של הניב." ציון טוב על הנייר מוכיח פחות מהקלטות של המתקשרים שלכם.

מה לא מגיע בקופסה

גילוי נאות אינו אופציונלי. מאז 2 באוגוסט, חוק ה‑AI של האיחוד האירופי (AI Act) מחייב ש"משתמשים יקבלו מידע ברור כשהם אינם מתקשרים עם אדם אמיתי אלא עם מערכת בינה מלאכותית", עם קנסות של עד 15 מיליון אירו או 3 אחוזים מהמחזור השנתי העולמי. בשווייץ, הממונה הפדרלי על הגנת המידע והשקיפות (FDPIC) סבור שלפי החוק הקיים "למשתמשים יש זכות חוקית לדעת אם הם מדברים או מתכתבים עם מכונה." הדרך הפשוטה ביותר לעמוד בשתי הדרישות היא המשפט הראשון בכל שיחה.

קול משובט דורש יותר. הממונה כותב ששימוש בתוכנות שיכולות לזייף קול של אדם מזוהה חייב תמיד להיות מסומן בבירור, ובמקרים מסוימים עשוי אף להיות אסור לפי הדין הפלילי. Mistral מציעה שיבוט קול, וההכרזה שלה לא אומרת דבר על האופן שבו נבדקת ההסכמה של הדובר. החלק הזה נשאר בידי החברה שמשתמשת בקול: הסכמה בכתב מהדובר, ותיעוד שלה.

אחר כך שאלו לאן הולך האודיו. Deepgram מציעה נקודות קצה אזוריות בארה״ב, באיחוד האירופי, בהודו ובאוסטרליה, שמשאירות את העיבוד והאחסון באזור. Mistral מציעה את ה־API שלה שמתארח באיחוד האירופי, או את השרתים שלכם. הקלטות שיחה ותמלולים מכילים בדרך כלל מידע אישי, ולכן המקום שבו הם נשמרים, ולכמה זמן, צריך להופיע בחוזה.

שמרו על שרשרת שאפשר להחליף

איחוד השוק אינו רע כשלעצמו. חברה אחת שאחראית לשרשרת כולה יכולה לתקן בעיות שיושבות בין החוליות. הסיכון הוא הצד השני של המטבע: ככל שיש פחות ספקים עצמאיים, כך קשה יותר לעזוב אחד מהם.

לכן החלקים הפתוחים חשובים. Pipecat נשארת תחת רישיון מתירני, והקרן שלה אמורה לשמור עליה ניטרלית, אף שאף אחת מההכרזות לא מציינת חבר ועדה או תאריך. Mistral אומרת שכל שלב בסוכן שלה הוא מודל נפרד, כך שאפשר להחליף את מודל השפה, את הקול או את השפה "בלי לכתוב מחדש את הסוכן". ElevenLabs הולכת בעקבות ה־Realtime API של OpenAI, כך שמעבר יכול להסתכם בשינוי כתובת ושם מודל.

הדעה שלנו: שמרו את החלקים ששייכים לכם מחוץ לכל ספק. מספר הטלפון שלכם, הידע, המחירים והכללים שלכם, תהליכי השיחה והבדיקות שלכם צריכים לשרוד החלפת ספק. כך מודל טוב יותר, או ספק שנרכש בידי מתחרה, הם שינוי הגדרות ולא פרויקט חדש.

איפה Timbre עומד

Timbre הוא המוצר שלנו לתחום הזה, והוא זמין. הוא משבט קול שהלקוח בוחר, רק בהסכמה בכתב של הדובר, ומעמיד אותו לעבודה בטלפון, בקבלה, בהזמנות ובאתר. למתקשרים נאמר שהם מדברים עם עוזר, ובכל פעם שאדם חשוב יותר, השיחה עוברת לאדם יחד עם סיכום כתוב. אנחנו בונים אותו עם שותפי קול וטלפוניה כמו ElevenLabs ומפעילים אותו בעצמנו. כשהשוק מתאחד, אנחנו חושבים שזה הסדר הנכון: השותפים שמתחת עשויים להשתנות, אבל ההסכמה, הגילוי והכללים של הלקוח לא אמורים להשתנות.