מה "אוטונומי" באמת אומר
למכוניות יש שש רמות של אוטומציה ותשובה ברורה לשאלה מי נוהג. בינה מלאכותית עסקית צריכה את אותו הדבר, ואת אותה הוכחה לפני שהיא עולה רמה.
הקו שלנו עצמו מסתיים במילים "ובהמשך, אוטונומי". הבטחה כזו צריכה הגדרה, אחרת היא רק מצב רוח. בתעשייה שלנו, עוזר ששולח מייל אחד בעצמו נקרא אוטונומי, וכך גם חזון של חברות שפועלות בלי עובדים.
המכוניות עברו את אותו בלבול ויצאו ממנו עם סולם שרוב האנשים מכירים היום. כדאי לשאול אותו.
מה המכוניות עשו נכון
רמות האוטומציה בנהיגה של SAE נעות מ־0 עד 5, וסוכנות הבטיחות בדרכים האמריקאית NHTSA מסבירה אותן במילים פשוטות. עד רמה 2, אתם נוהגים ואתם משגיחים, גם כשהמערכת מנווטת, בולמת ומאיצה בשבילכם. ברמה 3 המערכת נוהגת, אבל אתם חייבים להיות זמינים לקחת פיקוד כשהיא מבקשת. ברמה 4 המערכת אחראית באופן מלא בתוך אזורי שירות מוגבלים, והאנשים שבפנים הם נוסעים. רק ברמה 5 היא נוהגת בכל מקום, בכל התנאים.
שני רעיונות הופכים את הסולם לשימושי. כל רמה מוגדרת לפי מי שאחראי, לא לפי כמה המכונית חכמה. והרמות הגבוהות תחומות במקום: רמה 4 פירושה אחריות מלאה בתוך אזור, לא בכל מקום. NHTSA מציינת גם שאפילו רמת האוטומציה הגבוהה ביותר שזמינה לצרכנים היום דורשת מעורבות מלאה ותשומת לב בלתי מחולקת של הנהג. הסולם מתאר דרך, לא שוק.
רמות לעבודה
ב־2025 הציעו שלושה חוקרים, קווין פנג, דייוויד מקדונלד ואיימי ג׳אנג, סולם דומה לסוכני AI. הם מגדירים חמש רמות לפי התפקיד של האדם: מפעיל, שותף, יועץ, מאשר וצופה. ברמת המאשר, האדם נדרש רק כשהסוכן נתקל במכשול שהוא לא יכול לפתור בעצמו. ברמת הצופה, האדם יכול לקרוא את היומנים, אבל כבר לא מכוון את העבודה.
הנקודה החדה ביותר שלהם היא שאוטונומיה היא החלטת תכנון מכוונת, נפרדת מהיכולת. אפשר לבנות סוכן מסוגל מאוד כך שישאל לפני כל פעולה. השאלה אף פעם אינה רק אם המודל יכול לעשות את העבודה. היא כמה מהעבודה מישהו החליט לתת לו לעשות לבד, ועל סמך אילו ראיות.
במונחים האלה, כל מוצר של crue עובד היום ברמות הנמוכות: המכונה מנסחת ומציעה, ואדם מחליט. השלב הבא שלנו הוא רמת המאשר, עם שערים במקומות שהחברה בוחרת. North, למשל, יעביר תקציב בין ערוצים בתוך הגבולות שהחברה קובעת, ויסביר למה. בשני הסולמות זה קרוב לרמה 4: אחריות מלאה בתוך אזור תחום, ואדם שנקרא כשמגיעים לקצה.
מה צריך להתקיים קודם
תהליך צריך להרוויח את הרמה שלו כמו שמכונית מרוויחה את אזור השירות שלה: בראיות, אזור תחום אחד בכל פעם. לפני ששגרה רצה בעצמה, חמישה דברים צריכים להתקיים.
כללים בכתב: תקרת התקציב, ההנחה שאסור לאף אחד לתת, הטון שהמותג אף פעם לא משתמש בו. סוכן לא יכול לכבד גבול שחי רק בראש של מישהו. שערים: נקודות קבועות שבהן הסוכן עוצר ואדם מסוים, בשמו, מחליט, שממוקמות לפני כל דבר שאי אפשר לבטל. תיעוד: כל צעד נרשם ביומן, כך שאפשר להתחקות אחרי תוצאה שגויה עד הקלט, הכלל או המודל שגרמו לה. ב־Twin, כל צעד נרשם וכל פעולת כתיבה חתומה לפי משתמש.
אחריות: כשסוכן טועה, החברה נושאת באחריות. טריבונל קנדי הבהיר זאת ב־2024, כש־Air Canada טענה שהצ׳טבוט שלה אחראי למעשיו. הטריבונל לא הסכים: חברת התעופה הייתה אחראית לכל המידע באתר שלה, צ׳טבוט או לא, והיא נאלצה לשלם. ראיות: רמה מרוויחים על סמך תוצאות מדודות, לא על סמך הדגמה, כמו ש־Proof מכריז על מנצח רק כשהמספרים תומכים בכך.
חוק ה‑AI של האיחוד האירופי (AI Act) דורש פחות או יותר את אותו הדבר בשימושים בסיכון גבוה. הסעיף שלו על פיקוח אנושי מחייב שהאחראים יוכלו להבין את המגבלות של מערכת, להישאר מודעים לנטייה להסתמך עליה יותר מדי, לעקוף את הפלט שלה ולעצור אותה. החובה חלה מ־2 בדצמבר 2027 על השימושים בסיכון גבוה שמפורטים בנספח III, ומ־2 באוגוסט 2028 על אלה שתחת נספח I.
לצפות זה לא לפקח
במילה פיקוח מסתתרת מלכודת. בפברואר פרסמה Anthropic נתונים על האופן שבו אנשים מפקחים בפועל על סוכן הקוד שלה, Claude Code. משתמשים חדשים נתנו לו לפעול בלי לשאול בכ־20 אחוזים מהסשנים; משתמשים מנוסים עשו זאת ביותר מ־40 אחוזים. ובכל זאת, המשתמשים המנוסים גם קטעו אותו לעיתים קרובות יותר, בכ־9 אחוזים מהתורות לעומת 5 אחוזים. הם לא הפסיקו לפקח. הם עברו מאישור של כל צעד לצפייה בריצה ולהתערבות כשזה היה חשוב.
Anthropic מצאה גם שרק כ־0.8 אחוז מהפעולות שבחנה נראו בלתי הפיכות, והסיקה שפיקוח אפקטיבי דורש יותר מהכנסת אדם לשרשרת האישורים: פירושו להיות בעמדה להתערב כשזה חשוב. אנחנו קוראים את זה כטיעון בעד פחות שערים, וטובים יותר: בצעד הבלתי הפיך, בכסף, בהודעה שיוצאת מהחברה.
החברה האוטונומית
הוויכוח הגדול יותר הוא אם חברות שלמות יפעלו כך. Gartner צופה שעד 2028 לפחות 15 אחוזים מההחלטות בעבודה היומיומית יתקבלו באופן אוטונומי באמצעות AI סוכני, לעומת אפס ב־2024. זה שינוי אמיתי, ולפי אותה תחזית רוב ההחלטות עדיין נשארות אצל אנשים.
המבחן הכן ביותר עד כה הוא קטן. ב־2025 נתנה Anthropic לסוכן Claude לנהל חנות משרדית במשך כחודש. הוא מכר פריטים מתחת לעלותם, שוכנע לתת קודי הנחה, ובמשך זמן מה הורה ללקוחות לשלם לחשבון שהמציא. הפסיקה של Anthropic הייתה שהיא לא הייתה מעסיקה אותו, וגם שסביר שמנהלי ביניים מבוססי AI כבר נראים באופק.
בקצה השני, מרגרט מיטשל ועמיתיה טענו ב־2025 שאין לפתח סוכנים אוטונומיים לחלוטין בכלל, כי ככל שאדם מוותר על יותר שליטה לטובת סוכן, כך נוצרים יותר סיכונים לאנשים. אנחנו נמצאים בין השניים: ייתכן שפונקציות שלמות יפעלו יום אחד בעצמן, עם אנשים בקצוות, ואנחנו לא קובעים לזה תאריך.
איך שגרה עולה רמה
לחברה, השאלה המעשית צרה יותר: האם השגרה הזו, האחת, רשאית לעלות רמה אחת? המבחן שלנו קצר. הכללים כתובים. השער ממוקם לפני הצעד הבלתי הפיך. כל פעולה נרשמת וחתומה על שם אדם. הטיוטות הפסיקו לדרוש תיקונים לאורך מספיק ריצות כדי שזה ייחשב. ויש דרך חזרה לגרסה האחרונה שעבדה.
המוצרים שלנו הולכים באותה דרך. Tempo מכין ובודק את החודש, ואדם מאשר כל פוסט; בהמשך, הוא יפרסם את מה שעובר את הבדיקות שלו ויבקש אישור היכן שתרצו. Proof מריץ את הבדיקות שאדם מאשר; בהמשך, הוא יתחיל את הבדיקה הבאה בעצמו, בתוך הכללים שלכם. North מסביר ואדם מחליט; בהמשך, הוא יעביר תקציב בתוך הגבולות שתקבעו.
אוטונומי, כפי שאנחנו משתמשים במילה, אף פעם אינו בלי השגחה. פירושו אזור תחום, כללים כתובים, תיעוד של כל צעד ואדם שהתוצאה בבעלותו. המכונה יכולה לקחת עוד ועוד מהעבודה. הטעם, שיקול הדעת והאחריות למה שנעשה בשם החברה נשארים אנושיים, וזה מה שמאפשר לכל השאר לעלות רמה. למכונית ברמה 4 עדיין יש בעלים. כך יהיה גם לכל תהליך שרץ בעצמו.
