כשמודל פורש

ב־23 באוקטובר כיבתה OpenAI את o1 ואת o1-pro ב־API שלה, ואיתם שורה של מודלים ותיקים יותר: GPT-4, GPT-4 Turbo, GPT-3.5 Turbo, o3-mini, o4-mini וה־snapshot הראשון של GPT-4o. תשעה ימים קודם לכן היא הודיעה למפתחים ש־GPT-4o, GPT-4o mini, GPT-4.1 ו־GPT-4.1 mini יבואו בעקבותיהם ב־14 בינואר. אין בכל זה שום דבר חריג. מודלים ישנים פורשים, והחדשים בדרך כלל זולים יותר ומסוגלים יותר. אבל לכל חברה שכיווננה מוצר או תהליך עבודה למודל אחד, זו תזכורת לכך שהמודל היה מושכר, ושיש לו תאריך סיום.

מה ירד, ומה בא אחריו

OpenAI הודיעה על הכיבוי של אוקטובר ב־22 באפריל, שישה חודשים מראש, ואמרה שהיא רוצה "לשפר את האמינות ולהקל על מפתחים לבחור את המודלים הנכונים". גם גרסאות שעברו fine-tuning ירדו, ביניהן כאלה שנבנו על GPT-4 ועל GPT-3.5 Turbo. לרוב המודלים שפרשו, עמוד ההוצאה משימוש (deprecations) מציין תחליף ממשפחת GPT-5.6 החדשה יותר.

הרשימה של ינואר קצרה יותר, אבל מגיעה רחוק יותר. GPT-4o הגיע במאי 2024 כמודל הדגל של OpenAI, ו־GPT-4.1 היה משפחה שנבנתה למפתחים ול־API. OpenAI ממליצה על תחליף אחד לכל הארבעה, gpt-6-luna, שהיא השיקה בספטמבר. לפי ההגדרות של OpenAI עצמה, זו שגרה. "כשאנחנו משיקים מודלים בטוחים יותר ומסוגלים יותר, אנחנו מוציאים משימוש מודלים ישנים יותר באופן קבוע," נכתב בעמוד, ותוכנה שנבנתה עליהם "עשויה להזדקק מדי פעם לעדכונים כדי להמשיך לעבוד."

שלושה חודשים, לא שישה

מה שבולט הוא זמן ההתראה. המדיניות של OpenAI מבטיחה לפחות שישה חודשים למודלים בזמינות כללית, לפחות שלושה לגרסאות ייעודיות כמו גרסאות צ׳אט ו־Codex, ושבועיים בלבד למודלים שמסומנים כתצוגה מקדימה. שתי רשומות שפורסמו ב־1 באוקטובר מציינות את זמן ההתראה שלהן במפורש, אחת מהן "בהתראה של שישה חודשים". הרשומה מ־14 באוקטובר נותנת כשלושה חודשים, בלי שום נימוק.

GPT-4o ו־GPT-4.1 לא מסומנים כתצוגה מקדימה ואינם גרסאות צ׳אט או Codex, ולכן לפי הקריאה שלנו הם שייכים לקבוצת ששת החודשים. The New Stack הגיע לאותה מסקנה וציין ש"אין שום הסבר לכך ש־GPT-4o ו־GPT-4.1 מקבלים רק חצי מהזמן הזה."

כדי להיות הוגנים כלפי OpenAI, המדיניות שלה מתירה לוחות זמנים מהירים יותר מטעמי בטיחות או ציות, ושלושה חודשים אינם זמן קצר בסטנדרטים של התעשייה. Anthropic מבטיחה "התראה של 60 יום לפחות" למודלים שפורסמו לציבור, ונתנה ל־Claude Sonnet 4.5 חודשיים, מ־30 בספטמבר עד 30 בנובמבר. עמוד ה־Gemini של Google מכנה את מועדי הכיבוי שלו "המועדים המוקדמים ביותר האפשריים שבהם מודל עשוי לצאת משימוש", ולא מציין שום מינימום. הלקח נוגע לכולן: את תקופת ההתראה קובע הספק, והיא יכולה להשתנות.

מה נשבר כשמודל הולך

החלפת שם המודל בקוד לוקחת דקה. כל מה שמסביב לוקח יותר. The New Stack דיווח ש־gpt-6-luna מטפל בהסקה ובקריאות לכלים אחרת מ־GPT-4.1: בממשק Chat Completions הוא קורא לכלים רק כשההסקה כבויה, וכשההסקה פעילה, הגדרות מוכרות כמו temperature כבר לא זמינות. השורה התחתונה שלו: "החלפת מזהה המודל עשויה להיות החלק הקל ביותר במעבר."

השינויים העמוקים יותר לא מופיעים כשגיאות. פרומפטים שלוטשו במשך חודשים להרגלים של מודל אחד פוגשים עכשיו מודל עם הרגלים אחרים. התשובות חוזרות ארוכות יותר או קצרות יותר, בפורמט אחר או בטון אחר, ובדיקה שעברה במשך שנה יכולה להתחיל להיכשל בשקט.

גם העלות זזה, בעיקר לטובת הלקוח. OpenAI מתמחרת את gpt-6-luna ב־0.10 דולר למיליון טוקני קלט, לעומת 2.50 דולר ל־GPT-4o, אם כי התעריף עולה לפרומפטים ארוכים מ־272,000 טוקנים. מודלים שעברו fine-tuning הם המקרה הקשה ביותר. האפשרות להריץ בעצמכם משימות fine-tuning חדשות מסתיימת ב־6 בינואר, ומודל שאומן על הנתונים של החברה עצמה פורש יחד עם הבסיס שעליו נבנה.

איך להתכונן לזה

קו ההגנה הראשון הוא סט הערכה משלכם: מקרים אמיתיים מהעבודה שלכם, עם תשובות שאתם יודעים שהן נכונות, שמורצים מול כל מועמד לפני שהוא עולה לאוויר. שמרו אותו, ואת הפרומפטים, במאגר הקוד שלכם. אותו עמוד deprecations מראה למה. OpenAI מוציאה משימוש גם את פלטפורמת Evals שלה, שבה ההערכות הקיימות עוברות למצב קריאה בלבד ב־31 באוקטובר, וגם את אובייקטי הפרומפט לשימוש חוזר, ומנחה מפתחים להעביר את התוכן הזה לקוד האפליקציה שלהם.

השני הוא להפריד בין המוצר למודל. אם המודל נבחר במקום אחד, מאחורי ממשק אחד, החלפה הופכת לשינוי הגדרה ולהרצת בדיקות, לא לבנייה מחדש. נעילה על snapshot עם תאריך מונעת מההתנהגות לזלוג, אבל היא לא עוצרת את התאריך מלהגיע.

השלישי הוא פשוט לעקוב. ממשק List models של OpenAI מדווח על תאריך כיבוי לכל מודל שיש לו כזה, כך שאפשר להכניס אותו לניטור כמו תוקף של תעודת אבטחה, עם אדם מוגדר בשמו שאחראי לכך.

הרביעי מיועד לעבודה שחייבת להישאר יציבה במשך שנים: מודל שהמשקלים שלו נמצאים בידיכם. אף אחד לא יכול לכבות אותו בשבילכם, ואתם מחליטים מתי לשדרג. יש לכך עלויות משלו, מחומרה ועד העדכונים שאתם מריצים בעצמכם, וגם השאלה מאיפה מגיע מודל פתוח, שבה עסקנו מוקדם יותר החודש. Anthropic התחייבה לשמר את המשקלים של המודלים שלה לטווח הארוך, ומקווה "להפוך מודלים קודמים לזמינים שוב לציבור". זה מבורך, אבל זה לא משאיר מוצר פועל היום.

איפה אנחנו עומדים

Werk, פלטפורמת האפליקציות שלנו, כבר זמינה, והאפליקציות שאנחנו בונים עליה עם לקוחות משתמשות במודל הטוב ביותר לכל משימה, או במודל פרטי עם Eigna. Eigna, מוצר של Eigna Labs שאנחנו מקימים ללקוחות כשותפים שלה, נמצאת בגישה מוקדמת. היא מודל פתוח שמותאם לתחום של הלקוח, ורץ בענן שלו או על השרתים שלו. גרסה חדשה עולה לאוויר רק כשהיא מצליחה בבדיקות יותר מהקודמת, ואפשר לחזור לגרסה הקודמת בצעד אחד. המודל משתנה כשהחברה מחליטה, לא כשספק מחליט.