מדידת הצלחה בהטמעת AI (מדידת הצלחה בהטמעת בינה מלאכותית, בעברית מלאה) היא החלק שרוב הארגונים דוחים לסוף, ואז מגלים שאי אפשר לעשות אותו. הסיבה פשוטה: בלי מדידה של המצב לפני, אין למה להשוות אחרי.
אז נתחיל מהמסקנה. המדד הראשון שאתם צריכים הוא לא חיסכון בזמן ולא החזר השקעה, אלא כמה אנשים בכלל משתמשים בכלי, ובאיזו תדירות. זה נשמע צנוע, וזה האינדיקציה הכי אמינה שיש בשלב הראשון.
במדריך הזה: מה למדוד לפני שמתחילים, אילו מדדים באמת עובדים, איך בונים יעדים שההנהלה מתחייבת אליהם, ולמה מדידת החזר השקעה על AI קשה בהרבה ממה שמוכרים לכם.
שלב אפס: למדוד לפני שנוגעים
לפני ההרצאה הראשונה, לפני ההדרכות, לפני שחילקתם רישיון אחד נוסף. זה הרגע היחיד שבו אפשר לקבל תמונת מצב נקייה.
מה מודדים בבסיס:
1) כמה עובדים יש להם גישה לכלי בכלל. 2) כמה מתוכם נגעו בו בחודש האחרון. 3) הפילוח בין שימוש שוטף לשימוש מזדמן. 4) כמה נמצאים באפס מוחלט. 5) איך כל זה מתפלג לפי אגף.
הנתון החמישי הוא זה שמפתיע כמעט כל הנהלה. כמעט תמיד מתגלה אגף שלם שנמצא באפס, ואף אחד לא ידע שזה המצב. זה גם בדרך כלל המקום שבו הפעולה הראשונה תיתן את התשואה הכי גבוהה.
שבעת המדדים שאני עוקב אחריהם
1. אחוז העובדים שעברו הכשרה. המדד הכי קל לאיסוף ולכן הכי מרמה. הוא מודד פעילות, לא תוצאה. חשוב שיהיה, מסוכן להסתפק בו.
2. אחוז המשתמשים הפעילים מתוך בעלי הרישיון. זה המדד המרכזי בשלב הראשון. אם שילמתם על מאה רישיונות ושלושים אנשים משתמשים, יש לכם בעיה תפעולית לפני שיש לכם בעיה טכנולוגית.
3. מספר העובדים באפס שימוש. אני עוקב אחריו בנפרד מהמדד הקודם, כי הוא מזהה כיסים שלמים שנשארו מאחור. יעד ריאלי הוא לצמצם אותו בהדרגה, לא לאפס אותו.
4. מספר תהליכי העבודה ששונו בפועל בכל צוות. כאן זה מתחיל להיות אמיתי. אני עובד עם יעד של שניים עד שלושה תהליכים לצוות, וזה יעד שמרני בכוונה. צוות שישנה שניים ויתמיד בהם שווה יותר מצוות שיצהיר על עשרה.
5. זמן שנחסך, מול המדידה הראשונית. נמדד על תהליך ספציפי ולא על "העבודה" בכללותה. כמה זמן לקח להכין את הדוח החודשי לפני, וכמה אחרי.
6. איכות התוצר. החלק שהכי קשה למדוד, ולכן הכי מזניחים. הדרך המעשית היא דירוג של מי שמקבל את התוצר, לא של מי שמייצר אותו.
7. רמת הביטחון של העובדים. נמדדת בסקר קצר, לפני ואחרי. שאלה אחת טובה שווה יותר מעשר: עד כמה אתה מרגיש בנוח להשתמש בכלי במשימה אמיתית מול לקוח או מנהל.
איך בונים יעדים שההנהלה מתחייבת אליהם
שני עקרונות, ושניהם נלמדו בדרך הקשה.
יעדים של 90 יום, לא של שנה. שנה זה רחוק מדי מכדי שמישהו ירגיש מחויב, ובקצב שבו התחום זז, יעד שנתי ממילא לא רלוונטי ברבעון השלישי. תשעים יום זה מספיק קרוב כדי שיהיה לחץ, ומספיק רחוק כדי שיהיה אפשרי.
יעד לכל אגף, לא יעד אחד לארגון. אגף כספים ואגף שירות לא נמדדים באותו דבר, ויעד גורף פשוט יתעלמו ממנו. חשוב מזה: ההנהלה צריכה להיות שותפה לקביעת היעד לכל אגף. יעד שמישהו קבע במקומם הוא יעד שהם לא באמת מחויבים אליו.
יעד ריאלי לשלב ראשון הוא עלייה מדודה בשימוש בחודשיים הראשונים, לא קפיצה דרמטית. מי שמבטיח להנהלה קפיצה של פי שלוש ברבעון הראשון קונה לעצמו בעיה.
למה מדידת החזר השקעה על AI קשה
וכאן אני רוצה להיות ישר, כי בשוק הזה מוכרים הרבה ודאות שלא קיימת.
מדידת תועלת עסקית ישירה היא קשה. אם עובד חסך שעתיים בשבוע, השאלה מה קרה עם השעתיים האלה. אם הן הלכו לעבודה בעלת ערך גבוה יותר, זה רווח אמיתי אבל קשה לכימות. אם הן התפזרו, אין שם כלום… וההבדל בין שני התרחישים הוא ניהולי לגמרי, לא טכנולוגי.
יש גם עלויות שנוטים לשכוח: זמן ההטמעה עצמו, זמן הלמידה, והעובדה שבניית אוטומציה בפעם הראשונה לוקחת פי כמה מלעשות את המשימה ידנית. מי שלא מכניס את אלה לחישוב מקבל מספר יפה ולא נכון.
הגישה שעובדת: להתחיל ממדדי שימוש ואימוץ, שהם אמינים וזמינים, ולהוסיף שכבות מדידה עסקיות ככל שיש יותר תהליכים שבאמת השתנו. לא הפוך.
פרטיות: מה שקובע אם המדידה תתקבל
נתוני שימוש נאספים ברמת אגף, לא ברמת עובד מזוהה. זו לא רק שאלה של רגולציה, זו שאלה של האם ההטמעה תצליח.
ברגע שעובדים מרגישים שהמדידה היא מעקב אישי, מתחיל בדיוק ההפך ממה שרציתם: אנשים משתמשים פחות, או משתמשים ולא מדווחים. שקיפות מראש על מה נמדד ומה לא היא ההשקעה הכי זולה שתעשו בכל התהליך.
הדוח שההנהלה באמת צריכה
דף אחד, רבעוני. איפה היינו, איפה אנחנו, מה היעד הבא, ומה חוסם. לא שלושים שקופיות.
החלק שהכי חשוב בו הוא דווקא "מה חוסם", כי שם עולים הדברים שרק הנהלה יכולה לפתור: החלטה על גישה למערכות, תקציב, או הקצאת זמן לאנשים. פירוט על העבודה השוטפת מול הדרג הבכיר נמצא בעמוד יועץ בינה מלאכותית לארגונים, ועל התהליך המלא בעמוד ייעוץ והטמעת AI בארגונים.
שאלות נפוצות
מה המדד הראשון שכדאי למדוד בהטמעת AI?
אחוז המשתמשים הפעילים מתוך בעלי הרישיון, בפילוח לפי אגף. זה המדד הכי אמין וזמין בשלב הראשון, והוא חושף מיד איפה ההטמעה לא הגיעה. מדדים עסקיים מוסיפים בשלב מאוחר יותר, אחרי שיש תהליכים שבאמת השתנו.
מתי מודדים מצב קיים?
לפני ההרצאה הראשונה ולפני חלוקת רישיונות נוספים. זו נקודת הזמן היחידה שבה התמונה נקייה. ארגון שהתחיל בלי מדידת בסיס יכול עדיין למדוד מכאן והלאה, פשוט בלי להשוות לנקודת פתיחה.
כמה זמן לוקח עד שרואים תוצאות מדידות?
שינוי במדדי שימוש נראה תוך חודשיים. שינוי בתהליכי עבודה בפועל לוקח בדרך כלל שלושה עד שישה חודשים, כי צריך גם הכשרה וגם זמן להתמיד. חיסכון בזמן שניתן לכימות מגיע אחרי זה.
איך מודדים איכות ולא רק כמות?
דירוג של מי שמקבל את התוצר, לא של מי שמייצר אותו. שאלה אחת קבועה בסוף תהליך מספיקה. עובד תמיד ידרג את התוצר שלו גבוה, ומי שקורא אותו ידרג לפי מה שבאמת עזר לו.
האם אפשר למדוד החזר השקעה על הטמעת AI?
אפשר להעריך, אבל צריך להיזהר ממי שמציג נוסחה נקייה. הקושי הוא שחיסכון בזמן הופך לערך רק אם הזמן שהתפנה הלך למשהו בעל ערך גבוה יותר, וזו שאלה ניהולית. הגישה המעשית היא למדוד תהליך ספציפי לעומק במקום לנסות לכמת את הארגון כולו.
האם מדידה ברמת עובד היא רעיון טוב?
לא. היא פוגעת באמון ומייצרת בדיוק את ההתנגדות שרציתם למנוע. רמת אגף נותנת את כל המידע הניהולי שצריך בלי המחיר הזה.
