אופטימיזציה ואנליטיקה

A/B Testing

מבחן השוואתי בין שתי גרסאות של נכס דיגיטלי (כמו דף נחיתה או מודעה) כדי לקבוע איזו מהן מניבה ביצועים טובים יותר.

מה המשמעות של A/B Testing?

מבחן השוואתי בין שתי גרסאות של נכס דיגיטלי (כמו דף נחיתה או מודעה) כדי לקבוע איזו מהן מניבה ביצועים טובים יותר.

ניסוי שמשווה גרסאות תחת כללי הקצאה ומדידה, כדי לבחון השערה על השפעת שינוי מסוים.

השוואת חודש לחודש אינה תמיד ניסוי A/B, משום שעונתיות וקהל עשויים להשתנות.

ההקשר העסקי והחיבור לניהול לידים

מדד שימושי מתחיל בשאלה עסקית ולא במיקום של מספר בדוח. לפני השוואה צריך לדעת מי נספר, איזו פעולה נכללה, מהי התקופה ומאיפה הגיע המידע. שני מספרים שנראים דומים יכולים להתבסס על קבוצות שונות. הצגת הגדרה ומקור לצד התוצאה מאפשרת לעובדי השיווק והמכירות לדבר על אותו דבר ולברר פערים במקום להתווכח על המסך.

חשוב לשמור גם את ההיקף המוחלט שמאחורי היחס או הממוצע. שינוי שנראה גדול עשוי להגיע ממספר קטן של מקרים או מעסקה חריגה. חלוקה לפי מקור, סוג שירות ושעת פעילות יכולה לעזור להבין את ההקשר, אך פילוח רב מדי משאיר קבוצות קטנות שקשה להסיק מהן. בוחרים פירוט שמסייע להחלטה ומציינים מה עדיין אינו ידוע.

איך עובדים עם A/B Testing בפועל?

1. מנסחים השערה ומדד ראשי לפני תחילת הניסוי

כותבים את ההחלטה במשפט שאדם אחר בצוות יכול להבין וליישם. מציינים מה נכלל ומה נשאר מחוץ לתחום, ומי צריך לאשר שינוי בהגדרה. בשלב זה כדאי לבדוק מקרה רגיל ומקרה גבולי: פער בין הפרשנויות של העובדים הוא סימן שצריך לחדד את הכלל לפני שמטמיעים אותו במערכת או בפעילות.

2. מקצים משתתפים בדרך עקבית ומונעים חשיפה מבלבלת לשתי גרסאות

מתרגמים את ההגדרה לפעולה ולמידע שאפשר למצוא בזמן העבודה. לא כל פרט חייב להפוך לשדה חדש: מוסיפים שדה רק כשיש מי שמעדכן אותו ושימוש ברור בתוצאה. אם נדרש מידע שאין לצוות, מסמנים שהוא חסר במקום להמציא ערך. כך נשמר הבדל בין עובדה, הנחה ובקשה לבירור.

3. מגדירים משך וכלל החלטה שמתחשבים בהיקף ובשונות

מריצים דוגמה מתחילתה ועד סופה ומסתכלים גם על נקודת המבט של מי שמקבל את ההמשך. בודקים שההקשר נשמר, שהפעולה אפשרית ושאישור טכני אכן תואם לתוצאה הרצויה. אם מתקבלת תקלה, מתעדים מי מטפל בה ומה רואים עד לתיקון, כדי שלא תישאר עבודה סמויה מחוץ לתהליך.

4. בודקים גם שגיאות ואיכות פניות לפני הכרזה על גרסה עדיפה

לאחר שימוש ראשוני חוזרים לדגימה קטנה של מקרים ומבררים מה היה מועיל ומה הכביד. משנים גורם שניתן להסביר ובודקים שוב בתנאים דומים. שומרים תאריך וסיבה לשינוי, משום שהשוואה לאורך זמן מאבדת משמעות כאשר ההגדרה משתנה בלי תיעוד. האחריות נשארת ברורה גם כאשר חלק מהפעולות אוטומטיות.

דוגמה יישומית לצוות בעסק

התרחיש הבא נועד להמחשה. הוא אינו תיאור של לקוח מסוים או הבטחה לתוצאה.

שתי גרסאות של טופס נבדקות מול קהל דומה. אחת מקצרת שדה מסוים, והצוות בוחן שליחות תקינות ואיכותן לאחר זמן מספק, במקום לבחור לפי כמה קליקים ראשונים.

כדי לבדוק את הדוגמה בעסק שלכם, בחרו מקרה אמיתי לאחר הסרת פרטים אישיים שאינם נחוצים. השוו בין מה שהאדם ביקש, המידע שהצוות ראה והפעולה שנעשתה. אם אחת החוליות אינה ברורה, בדקו אותה לפני הרחבת הפעילות. המטרה היא להבין את הסיבה לפער, ולא למצוא דרך להציג את אותו נתון בצורה מחמיאה יותר.

טעות נפוצה ודרך לבדוק אותה

עצירה ברגע שנראה יתרון זמני או החלפת כמה גורמים יחד מקשות לייחס תוצאה לשינוי.

אפשר להתחיל בבדיקה של מקרים שהצליחו לצד מקרים שנעצרו. הסתכלו על ההקשר ועל רצף הפעולות, ושאלו איזה מידע היה זמין בזמן ההחלטה. אין טעם לבחון עובד על סמך פרט שנודע רק מאוחר יותר. אם הבעיה חוזרת, בדקו האם המקור הוא הגדרה עמומה, מידע חסר או פעולה שאינה מתאימה לאופן העבודה בפועל.

מה כדאי למדוד בבדיקת A/B Testing?

גודל מדגם, הקצאה, מדד ראשי, טווח אי-ודאות ותוצאות משניות.

לכל נתון בחרו מקור ותדירות בדיקה, וציינו את ההגדרה לצד הדוח. שמרו גם מספרים מוחלטים ומקרים שלא הושלמו, כדי שהממוצע או היחס לא יסתירו עבודה שנותרה פתוחה. כאשר התקופה קצרה או הקבוצה קטנה, תארו את הממצא ככיוון לבדיקה ולא כמסקנה על כל הלקוחות. שינוי במדד צריך להוביל לשאלה או לפעולה ברורה.

שאלות נפוצות על A/B Testing

מה חשוב להגדיר לפני שמתחילים?

מנסחים השערה ומדד ראשי לפני תחילת הניסוי. הביאו דוגמה ושאלו אם כל מי שצריך לעבוד עם המושג מבין אותה באותו אופן. הגדרה קצרה שאפשר ליישם עדיפה על הסבר רחב שאינו עוזר בהחלטה.

האם צריך כלי חדש כדי ליישם את העיקרון?

לא בהכרח. תחילה בדקו מה חסר בתהליך ומה ניתן לעשות עם המידע והכלים הקיימים. כלי חדש מתאים כאשר ברור איזו פעולה הוא משפר וכיצד תיבדק התוצאה. אפשר להתחיל בפיילוט קטן, לזהות חריגים ורק אחר כך להחליט על הרחבה.

איך מבחינים בין שיפור אמיתי לבין שינוי בדוח?

בודקים את אותה הגדרה לאורך זמן ומוודאים שהמקרים שמאחוריה אכן השתנו. לצד המספר, קראו דוגמאות ושוחחו עם מי שמשתמש בתוצאה. אם רק שם השדה או בסיס הספירה השתנו, יש להציג זאת במפורש ולא להשוות כאילו שיטת העבודה נשארה זהה.