המבקר מחליט, לא הישיבה

כל צוות שבונה אתרים מכיר את הישיבה הזו. עמוד חדש על המסך, ולכל אחד יש דעה. המעצב מעדיף את הגרסה השקטה, מנהל המכירות רוצה את המחיר גבוה יותר בעמוד, המייסד אוהב את הכותרת שכתב בעצמו. ישבנו בישיבה הזו שנים, כסוכנות ועכשיו כחברת מוצר, לא פעם לצד מומחים טובים מאוד.

ואז העמוד עולה לאוויר והמבקרים מחליטים. לא פעם הם מחליטים משהו שאיש בחדר לא ציפה לו. בדיקת A/B היא ההרגל לתת להם להחליט במכוון: שתי גרסאות של אותו עמוד, שמוצגות באותו זמן לשתי קבוצות אקראיות של מבקרים אמיתיים, וזו שמצליחה יותר נשארת.

הרעיון שאף אחד לא רצה

הדוגמה המוכרת ביותר מגיעה מ־Microsoft. ב־2012 הציע עובד שעבד על Bing שינוי קטן באופן שבו מוצגות כותרות המודעות. זה היה לוקח למהנדס כמה ימים. זה היה רעיון אחד מתוך מאות, מנהלי התוכניות דירגו אותו נמוך, והוא נשאר בצד יותר משישה חודשים.

כשמהנדס הריץ סוף סוף בדיקה פשוטה, הגרסה החדשה הניבה הכנסות גבוהות כל כך שהן הפעילו התרעה שבדרך כלל מעידה על באג. זה לא היה באג. רון כוהבי וסטפן תומקה כתבו ב־Harvard Business Review שהשינוי העלה את ההכנסות ב־12 אחוזים, יותר מ־100 מיליון דולר בשנה בארה״ב לבדה, בלי לפגוע במדדי חוויית המשתמש. הם כינו אותו הרעיון המכניס ביותר בתולדות Bing.

אותו מאמר מתאר את המקרה ההפוך. הצגת תוכן מ־Facebook ומ־Twitter בחלונית שלישית בעמוד התוצאות של Bing עלתה ל־Microsoft יותר מ־25 מיליון דולר בפיתוח והניבה רווחים זניחים במעורבות ובהכנסות. מאמץ קטן, השפעה גדולה. מאמץ גדול, השפעה קטנה. איש לא יכול היה לדעת מראש מה מהם.

כשהמומחים היו בטוחים

ב־2013 בדקה Bing שינויים קלים בצבעים של כותרות, קישורים וכיתובים בעמוד התוצאות שלה. ההבדלים כמעט לא נראו לעין, ומומחי העיצוב היו ספקנים כשהתוצאות חזרו חיוביות: אנשים מצאו את מה שחיפשו לעיתים קרובות יותר ומהר יותר. לכן הבדיקה הורצה שוב עם 32 מיליון משתמשים. התוצאה החזיקה, והשינוי הוערך כשווה יותר מ־10 מיליון דולר בשנה. במשך שנים, מציינים הכותבים, Microsoft הסתמכה על מעצבים מומחים ולא על התנהגות של משתמשים אמיתיים כדי לקבוע את מדריכי הסגנון שלה.

לפוליטיקה יש גרסה משלה. בדצמבר 2007 בדק הקמפיין של אובמה את עמוד ההרשמה שלו עם 24 שילובים של כפתורים, תמונות וסרטונים על יותר מ־310,000 מבקרים. דן סירוקר, שהוביל את הניתוח, כתב מאוחר יותר שהצוות אהב את הסרטונים וכנראה היה משתמש באחד מהם. כל סרטון הצליח פחות מכל תמונה. המנצחת, תמונה משפחתית עם כפתור שעליו כתוב Learn More, העלתה את שיעור ההרשמה מ־8.26 ל־11.6 אחוזים, שיפור של 40.6 אחוזים.

רוב הרעיונות לא עובדים

החלק הלא נוח הוא שיעור הבסיס. כוהבי ותומקה מדווחים שב־Google וב־Bing רק כ־10 עד 20 אחוזים מהניסויים מניבים תוצאות חיוביות, ושבכל Microsoft שליש מהרעיונות מתבררים כאפקטיביים, שליש ניטרליים ושליש מחמירים את המצב. תומקה, שחקר את Booking.com, חברה שמריצה כ־25,000 בדיקות בשנה, מעריך את הנתון הכללי בכ־10 אחוזים מהניסויים שמשפרים את השורה התחתונה.

זו לא סיבה לייאוש. זו סיבה לענווה. אם רוב הרעיונות שאנשים מנוסים בטוחים בהם לא עושים כלום או מזיקים, חברה שמשנה את האתר שלה רק לפי דעות משיקה גם אותם, ולעולם לא יודעת. הבדיקות מוצאות את המנצחים. ולא פחות חשוב, הן עוצרות את המפסידים בשקט.

החברות עם הכי הרבה נתונים לוקחות את זה הכי ברצינות. בספטמבר 2025 קנתה OpenAI את Statsig, חברה לבדיקת מוצרים, בעסקה במניות בלבד ש־TechCrunch העריך ב־1.1 מיליארד דולר.

איך לבדוק ביושר

בדיקה יכולה להטעות בדיוק כמו ישיבה. חוקרים מ־Wharton בחנו יותר מ־2,100 ניסויים שהורצו ב־Optimizely ב־2014, ומצאו ש־57 אחוזים מעורכי הניסויים בדקו את התוצאות תוך כדי שהגיעו ועצרו ברגע שהבדיקה חצתה מובהקות של 90 אחוזים. לפי הערכתם, ההרגל הזה העלה את שיעור הממצאים המובהקים שהיו שגויים מכ־30 אחוזים ל־42 אחוזים.

כמה כללים שומרים על בדיקה ישרה. החליטו על המטרה לפני שהבדיקה מתחילה, ובחרו בזו שחשובה: לידים, מכירות או הכנסות, לא קליקים. החליטו כמה זמן היא רצה, בשבועות מלאים, ואל תעצרו אותה כי העקומה נראית טוב ביום שלישי. חלקו את המבקרים באקראי ובדקו את החלוקה: הפלטפורמה של Microsoft מתריעה על אי התאמה ביחס המדגם כשהקבוצות שונות מהתוכנית, ותוצאות כאלה לרוב חסרות ערך. שנו דבר ברור אחד בכל פעם, כדי שהסיבה תישאר ברורה.

והיו חשדנים כלפי ניצחונות גדולים. כוהבי ותומקה מצטטים את חוק טוויימן: "כל נתון שנראה מעניין או שונה הוא בדרך כלל שגוי". הריצו שוב תוצאה מפתיעה לפני שאתם חוגגים אותה, ושמרו את המפסידים ביומן. בדיקה שנכשלה עדיין מספרת לכם משהו על הלקוחות שלכם.

מה משתנה כשבודקים

השינוי הגדול ביותר אינו בעמוד. הוא בישיבה. כשאפשר לבדוק כל שינוי חשוב, מחלוקת מפסיקה להיות תחרות של דרגות, והשאלה הופכת למה לבדוק קודם. ג׳וניור יכול להביא רעיון בלי לנצח בוויכוח, ומומחה יכול לטעות בלי לאבד את כבודו.

מה שנשאר אנושי הוא כל מה שקודם למספרים: הרעיונות ששווה לבדוק, שיקול הדעת לגבי מה שמותג לעולם לא צריך לנסות גם אם זה היה מנצח, והאחריות למה שעולה לאוויר. בדיקה יכולה לומר לכם איזו כותרת מוכרת. היא לא יכולה לומר לכם אם כדאי לכם לומר אותה.

איפה Proof נכנס

בנינו את Proof כי הכלים שניסינו נבנו לצוותי בדיקות, לא לחברות. הוא מריץ בדיקות A/B באתרים, בדפי נחיתה, בחנויות, במיילים ובניוזלטרים, מחלק את המבקרים בהגינות, ומכריז על מנצח רק כשהתוצאה מחזיקה, לפי לידים, מכירות או הכנסות. הסוכנים שלו מציעים את הבדיקה הבאה וכותבים את הגרסאות, ואדם מאשר כל אחת מהן. Proof נמצא בגישה מוקדמת ורץ קודם כול על העמודים שלנו. העמודים עצמם יכולים לשבת ב־Studio, שבו כל פרסום נבדק, עובר בדיקות, עולה לאוויר, נבדק שוב ומוחזר לאחור מעצמו אם משהו נכשל.

מאיפה להתחיל: בחרו את העמוד האחד שמביא הכי הרבה לידים או מכירות, כתבו מה אתם מאמינים שישפר אותו, ובדקו את האמונה הזו מול הגרסה הנוכחית במשך שבועיים מלאים לפחות. מה שלא תהיה התוצאה, תדעו משהו שקודם רק הנחתם.