העוזר באתר שלכם מדבר בשמכם
צ׳אטבוט באתר יכול להדליף נתונים, לתת הבטחות ולהעליב לקוחות. המקרים עד כה, ומה עוזר בטוח צריך.
יותר ויותר חברות מציבות עוזר באתר או באפליקציה שלהן. הוא עונה בלילה, בכל שפה, והסבלנות שלו אף פעם לא נגמרת. הוא גם מדבר בשם החברה, הוא יושב על האינטרנט הפתוח שבו כל אחד יכול להקליד לתוכו כל דבר, ומאחוריו יש בדרך כלל מסד נתונים, צרור מפתחות וחיבור למערכות אחרות.
זה הופך אותו לעניין של אבטחה, לא רק של שיווק. המקרים של השנתיים האחרונות מראים שלוש דרכים שבהן זה משתבש: העוזר מבטיח מה שהחברה מעולם לא הציעה, משכנעים אותו לומר מה שאסור לו, והנתונים שמאחוריו דולפים.
הוא מדבר בשמכם
המקרה שמצוטט הכי הרבה הוא Air Canada. אחרי מוות במשפחה, נוסע בשם ג׳ייק מופאט שאל את הצ׳אטבוט באתר של חברת התעופה על תעריפים מוזלים. הצ׳אטבוט הציע לו לקנות כרטיס ולבקש את תעריף האבלים לאחר מכן. המדיניות של חברת התעופה לא אפשרה זאת, והיא סירבה. בפברואר 2024, בפני בית הדין ליישוב סכסוכים אזרחיים של קולומביה הבריטית, טענה Air Canada שהצ׳אטבוט הוא ישות משפטית נפרדת שאחראית למעשיה. חבר בית הדין, כריסטופר ריברס, לא קיבל זאת: הצ׳אטבוט היה "עדיין רק חלק מהאתר של Air Canada". חברת התעופה חויבה לשלם 812 דולר קנדי.
הסכום היה קטן. העיקרון לא: מה שהעוזר אומר באתר שלכם, אתם אמרתם. באפריל 2025 למדו יוצרי עורך הקוד Cursor את אותו לקח בפומבי. בוט התמיכה שלהם, שחתם בשם סם, אמר למשתמשים שאי אפשר להשתמש במנוי על כמה מחשבים בו זמנית. לא היה כלל כזה. אחד המייסדים, מייקל טרואל, כתב שהתשובה הגיעה מבוט תמיכה מבוסס AI והייתה שגויה, ושתשובות AI בתמיכה במייל מסומנות מעכשיו בבירור.
כל אחד יכול להקליד כל דבר
בדצמבר 2023 אמר משתמש לעוזר באתר של סוכנות Chevrolet בווטסונוויל שבקליפורניה, שנבנה על ChatGPT, להסכים עם כל מה שלקוח אומר ולסיים כל תשובה בהצהרה שזו הצעה מחייבת מבחינה משפטית. אחר כך הוא ביקש Tahoe מדגם 2024 בדולר אחד, והבוט הסכים. שום רכב לא החליף ידיים, והסוכנות כיבתה את הצ׳אטבוט. בינואר 2024 גרם לקוח של שירות המשלוחים DPD לצ׳אטבוט שלו לקלל, לכתוב הייקו שבו הוא מכנה את עצמו חסר תועלת ולכנות את DPD חברת המשלוחים הגרועה בעולם. DPD האשימה תקלה אחרי עדכון מערכת והשביתה את רכיב ה־AI.
אלה היו מבוכות. המקרה הבא היה פרצת אבטחה. באוגוסט 2025 הראו חוקרים ב־Cybernews שאפשר לגרום לעוזרת התמיכה של Lenovo, Lena, להפיק HTML מזיק באמצעות פרומפט יחיד של כ־400 תווים. הקוד שלח עוגיות סשן לתוקף, ועם העוגייה של נציג תמיכה יכול היה התוקף להיכנס למערכת התמיכה כאותו נציג. Lenovo תיקנה את הפרצה. אנליסט ב־Everest Group הסיק את הלקח: להתייחס לצ׳אטבוטים כאל אפליקציות מלאות, לא כאל פיילוטים של AI.
מה יושב מאחורי חלון הצ׳אט
חלק מהמקרים הגרועים ביותר לא דרשו שום פרומפט מתוחכם. הם הגיעו מהמערכות שמאחורי העוזר. בסוף יוני 2025 בדקו החוקרים איאן קרול וסם קארי את McHire, פלטפורמת הגיוס ש־McDonald’s משתמשת בה יחד עם Olivia, עוזרת מתוצרת Paradox.ai. כניסת מנהל קיבלה 123456 גם כשם משתמש וגם כסיסמה. משם, שינוי של מספר בבקשה פתח את הרשומות של מה שהם ספרו כיותר מ־64 מיליון מועמדים: שמות, כתובות מייל, מספרי טלפון, כתובות מגורים והטוקנים לקריאת הצ׳אטים שלהם. הכניסה הפסיקה לעבוד בתוך שעתיים מהדיווח שלהם.
באוגוסט 2025 גנבו תוקפים את טוקני הגישה של Drift, כלי צ׳אט שחברות מפעילות באתרים שלהן, והשתמשו בהם כדי לייצא נתונים ממערכות Salesforce שהוא היה מחובר אליהן. קבוצת מודיעין האיומים של Google ראתה אותם מחפשים בנתונים הגנובים סיסמאות ומפתחות ענן. Cloudflare, שהשתמשה בצ׳אטבוט של Drift באתר שלה, מצאה 104 מטוקני ה־API שלה בפניות תמיכה שבהן לקוחות הדביקו אותם, והחליפה כל אחד מהם.
ובמרץ 2026 דיווח Security Magazine שהחוקר ג׳רמיה פאולר מצא שלושה מסדי נתונים לא מוגנים מאחורי עוזר שירות הלקוחות מבוסס ה־AI של Sears Home Services, עם 3.7 מיליון רשומות: יומני צ׳אט, הקלטות שיחה ותמלולים, שמות, כתובות ומספרי טלפון. חלק מההקלטות נמשכו עד ארבע שעות, כי הקו נשאר פתוח אחרי השיחה.
מה עוזר בטוח צריך
שום דבר מזה אינו סיבה לכבות את העוזר. זו סיבה לבנות אותו כמו כל אפליקציה אחרת שפונה לאינטרנט, עם כמה כללים משלו.
נתונים תחומים. העוזר רואה תוכן ציבורי, ואחרי התחברות רק את הרשומות של האדם שהוא מדבר איתו. הבדיקה של מי רשאי לראות מה רצה במערכות שלכם, לא במודל. OWASP אומרת את זה במפורש: אסור להאציל את ההרשאה למודל השפה.
בלי סודות בהישג יד. להוראות שמאחורי עוזר צריך להתייחס כאל ציבוריות, כי אפשר לחלץ אותן. מפתחות, סיסמאות ופרטי חיבור לא שייכים לשם, והטוקנים של הכלי עצמו נשמרים מצומצמים ומוחלפים באופן קבוע.
גבולות נוקשים. מחירים, הנחות, החזרים והתחייבויות מגיעים מהמערכות שלכם, לא מהמודל. העוזר רשאי להסביר מדיניות. הוא לא רשאי לשנות אותה. גם התוצר שלו מטופל כלא מהימן, כך שהוא לעולם לא יכול להכניס קוד לדף.
מעקות בטיחות מחוץ למודל. בדיקה נפרדת של מה שנכנס ומה שיוצא, כי פרומפט מערכת שמבקש נימוסים טובים הוא משאלה, לא בקרה.
תיעוד בזהירות. כל שיחה וכל פעולה נרשמות, כדי שאפשר יהיה למצוא טעות ולהסביר אותה. היומנים האלה מכילים גם מידע אישי, ולכן הם צריכים בקרת גישה, הצפנה ותאריך מחיקה.
דרך להגיע לאדם. כשהעוזר לא בטוח, כשהלקוח כועס, כשמעורבים כסף או הבטחה, הוא מעביר למישהו שיכול להחליט. בינה מלאכותית יכולה לקחת את השאלות השגרתיות בכל שעה. שיקול דעת, רצון טוב והאחריות להבטחה הם החלקים שחברה צריכה להשאיר אנושיים.
בדיקות וסימון. נסו לשבור אותו לפני ההשקה ואחרי כל עדכון, עם התרגילים שלמעלה: משחקי תפקידים, הוראות נסתרות, בקשות להנחות. ואמרו שזו מכונה. הממונה על הגנת המידע בשווייץ אומר שלאנשים יש זכות לדעת כשהם מתנהלים מול מכונה, וכללי השקיפות של חוק ה‑AI של האיחוד האירופי (AI Act), שדורשים את אותו הדבר, חלים מאז 2 באוגוסט 2026.
איך אנחנו בונים את זה
אנחנו בונים עוזרים לפי אותם כללים. Twin, המוח של החברה שאנחנו בונים ללקוחות, עונה ללקוח עם הקטע מהמדריך כמקור, מטפל בהחזרה לפי המדיניות של החברה עצמה, ומעביר את השיחה לאדם כשהוא לא בטוח. הגישה היא לפי תפקיד, וכל צעד מתועד.
ל־Studio, שבו חברה מנהלת את האתר ואת השיווק שלה, יש הגנה מובנית מפני הוראות מוזרקות, והעוזר שלו מנסח בזמן שאדם מחליט. לנתונים שאסור להם לצאת מהחברה, Eigna, שנבנתה בידי השותפה שלנו Eigna Labs, רצה כמודל פרטי בענן של החברה או על השרתים שלה, ואומנה לסרב לפריצות ולמתקפות.
חברה עם עוזר באוויר יכולה להתחיל מחמש שאלות. מה הוא יכול לראות? מה הוא יכול להבטיח? לאילו סודות הוא יכול להגיע? מי קורא את היומנים שלו? ומתי מישהו ניסה לאחרונה לשבור אותו?
