איך מודדים הדרכת AI בארגון
מודדים הדרכת AI בארבע שכבות: תגובת המשתתפים, מה הם למדו, איך הם שינו את ההתנהגות ומה קרה בתהליך העבודה שהצוות הגדיר. לפני ההדרכה בוחרים שניים עד חמישה שימושים, מתעדים איך העבודה נראית לפני השינוי ומחליטים מי אחראי לבדיקה. לאחר מכן בודקים שימוש ותוצאה לאורך זמן, תוך הפרדה ברורה בין פעילות בכלי, שימוש קבוע וערך עסקי.
איך מודדים אם הדרכת AI באמת עבדה?
מתחילים לפני ההדרכה. בוחרים משימה שאנשים כבר מבצעים, מתעדים איך היא נעשית היום ומחליטים מה ראוי לבדוק. אחרי ההדרכה לא שואלים רק אם היה מעניין. בודקים מה נלמד, האם אנשים השתמשו בדרך החדשה, ומה השתנה במשימה.
המדידה לא צריכה להיות ענקית. אתם כן צריכים לדעת להסביר כל מספר. תיעוד קצר ואמין של המצב הקודם עדיף על לוח מחוונים גדול שלא ברור מה הוא אומר. בעבודה עם ארגונים, אני רואה שוב ושוב שהשאלה הקשה אינה "איזה KPI לבחור", אלא מי מחזיק את המדד ומוכן להסביר את המגבלה שלו.
שביעות רצון מודדת את תגובת המשתתפים. היא אינה מוכיחה שינוי בעבודה. כדי לדעת מה השתנה במשימה צריך לתעד את המצב הקודם, מקור נתונים, אחראי, תקופה ומגבלה.
ארבע שכבות מדידה: תגובה, למידה, התנהגות ומה השתנה במשימה
מודל Kirkpatrick הוא מודל ותיק להערכת למידה. אני משתמש בו כאן כי הוא מפריד בין תגובת המשתתפים, מה שהם למדו, מה שהם עושים אחרת והתוצאה שהתקבלה. המסגרת כאן שומרת על ההבחנה הזאת, אבל מתאימה את שכבת התוצאה לתהליך העבודה ארגוני מוגדר. זו התאמה של אייל, לא חלק מקורי ממודל Kirkpatrick.
תגובה
האם התוכן נתפס כרלוונטי, ברור וישים? הנתון עוזר לשפר את הלמידה. הוא לא מודד שימוש בפועל.
למידה
האם המשתתף יודע לבצע משימה, לבחור כלי או להסביר כלל שימוש? תבדקו את זה בתרגיל קצר.
התנהגות
האם השימוש חזר בעבודה אמיתית, בזמן מתאים ובדרך שתואמת מדיניות? כאן הצוות צריך זמן.
מה השתנה במשימה
האם חל שינוי בזמן, איכות, עקביות, שיעור השלמה או חוויית עובד? גורמים נוספים יכולים להשפיע.
מה למדוד לפני ההדרכה
תבחרו שתיים עד חמש משימות. יותר מזה מקשה על איסוף עקבי. לכל שימוש תתעדו את המשימה, הקהל, הכלי, תיאור המצב הקודם, מקור הנתונים והסיכון. אל תבחרו "פרודוקטיביות" כמדד. תבחרו זמן להכנת מסמך, מספר סבבי תיקון, שלמות לפי כללי איכות קבועים או שיעור השלמה.
איך מתעדים את המצב לפני ההדרכה
התיעוד הראשוני צריך לייצג יום עבודה רגיל. מדגם קטן יכול להספיק להתחלה אם הוא מתועד. תשתמשו באותו סוג קלט, אותה הגדרת איכות ואותה יחידת זמן לפני ואחרי. אם התנאים השתנו, תכתבו את זה ליד התוצאה.
צוות מכין תקציר של מסמך ארוך. לפני ההדרכה מודדים זמן עבודה ובודקים איכות לפי כללי איכות קבועים של דיוק, שלמות ובהירות. אחרי ההדרכה משתמשים במסמכים דומים ולפי אותם כללי איכות. הדוגמה מסבירה שיטה בלבד. היא אינה תוצאה של לקוח.
עמוד הדרכות AI לארגונים עוסק בפורמט הלמידה. עמוד ייעוץ והטמעת AI עוסק בתהליך רחב יותר. כאן נשארים עם מדידה.
מה בודקים אחרי 7, 30 ו-90 יום
7, 30 ו-90 יום הם הקצב שאני מציע לבדיקה, לא אמת מידה מחקרית ולא התחייבות שירות. תתאימו את המרווחים לקצב תהליך העבודה. תוכלו לבדוק משימה יומית מהר יותר מתהליך רבעוני.
| מועד | שאלה | שיטת איסוף | פרשנות | מגבלה |
|---|---|---|---|---|
| 7 ימים | האם נלמד לבצע? | תרגיל, שאלון קצר ודיווח עצמי | יכולת וניסיון ראשון | עוד לא מוכיח הרגל |
| 30 יום | האם יש שימוש חוזר? | דגימת עבודה, ראיון, נתוני שימוש מאושרים | שימוש קבוע ראשוני וחסמים | שימוש אינו ערך |
| 90 יום | האם שינוי נשמר? | מדגם תהליך העבודה והשוואה למצב הקודם | כיוון של תוצאה | גורמים אחרים משפיעים |
אם אין נתוני שימוש מאושרים, אל תאספו אותם בחשאי. תשתמשו בדגימת עבודה, שיחה עם מנהל או יומן שימוש קצר. NIST AI RMF Playbook הוא אוסף רשמי של שאלות ופעולות ליישום המסגרת. ה-RMF מחלק את העבודה לניהול, מיפוי, מדידה וטיפול בסיכון, וה-Playbook עוזר להפוך את החלוקה הזאת לפעולות. הוא לא רשימת חובה, הסמכה או ציון בשלות. אני מצטט אותו כאן כי הוא מזכיר שמספרים צריכים להוביל להחלטה ולא להישאר בדוח שאף אחד לא משתמש בו.
שימוש בכלי, שימוש קבוע ותוצאה עסקית אינם אותו דבר
שימוש בכלי אומר שהכלי הופעל. שימוש קבוע אומר שהוא משמש שוב, בהקשר מתאים ובדרך מאושרת. תוצאה עסקית אומרת שמשהו חשוב השתנה. לפעמים תראו שימוש רב בכלי בלי תוצאה. לפעמים תראו תוצאה טובה במדגם קטן בלי שימוש קבוע רחב.
לכן צריך להחזיק את שלושת הסוגים בנפרד. לוח מחוונים שמערבב אותם מייצר מספר אחד שקל להציג וקשה לפרש (וזה בדיוק המקום שבו מתחילות הבטחות גדולות מדי).
איך מודדים זמן ואיכות בתהליך העבודה
זמן קל יחסית למדוד, אבל אינו מספיק. תוצר מהיר ולא מדויק אינו שיפור. תחברו זמן למדד איכות. כללי האיכות יכולים לכלול דיוק, שלמות, בהירות, התאמה למותג או ציות לכלל. תגדירו מי מדרג ובאיזו דגימה.
אל תמדדו כל דבר. אם המטרה היא ניסוח מענה, איכות וזמן יכולים להספיק. אם המטרה היא מחקר, אולי צריך גם כיסוי מקורות ויכולת לאמת. המדד צריך לעקוב אחרי הסיכון של המשימה.
מי אחראי על כל חלק במדידה
צוות ההדרכה יכול לבדוק מה המשתתפים הבינו. מי שמוביל את התוכנית יכול לבדוק אם השימוש חוזר. המנהל העסקי צריך להחליט אם משהו השתנה במשימה עצמה. מערכות מידע, הלשכה המשפטית או אבטחת המידע מטפלים בגישה ובסיכון. אם לא קובעים מי אחראי על כל חלק, המדידה פשוט נעלמת אחרי הסקר הראשון. אם רוצים לפזר בעלות ולמידה בין יחידות, תחברו את המדידה גם לתוכנית AI Champions ארגונית, בלי להפוך את ה-Champions לבעלי הסיכון.
| מדד | מקור | אחראי | תקופה | מגבלה |
|---|---|---|---|---|
| ביצוע תרגיל | בדיקת מוכנות | למידה ופיתוח ארגוני | 7 ימים | לא מוכיח עבודה אמיתית |
| שימוש מתאים | דגימה או סקר | מי שמוביל את התוכנית | 30 יום | דיווח עצמי עלול להטות |
| זמן ואיכות | מדגם תהליך העבודה | המנהל העסקי | 30 עד 90 יום | אין בידוד מלא של סיבתיות |
| חריגות מהמדיניות | תהליך דיווח מאושר | אחראי הסיכון | שוטף | תת-דיווח אפשרי |
מה לא נחשב הוכחת ROI
- מספר כניסות לכלי או הנחיות שנשלחו אליו
- ציון שביעות רצון
- תוצר מוצלח אחד
- הערכת זמן שלא נמדדה
- תחושה כללית של "יותר פרודוקטיביים"
- השוואה בין משימות שאינן דומות
כדי לטעון ROI צריך להגדיר עלות, תועלת, תקופה והנחות. וגם אז, צריך להיזהר מסיבתיות. העמוד הזה אינו עמוד ROI של מוצר מסוים ואינו טוען שהדרכה לבדה יצרה תוצאה.
איך מתכננים תוכנית מדידה לפני שמתחילים
תוכנית מדידה טובה נכנסת לעמוד אחד. היא כוללת החלטה שרוצים לקבל, תהליכי העבודה שבודקים, קהל, תיאור המצב הקודם, דרך איסוף, אחראי ומועד בדיקה. אם אין החלטה בסוף, המדידה עלולה להפוך לדוח שאף אחד לא משתמש בו.
תנסחו את השאלה בפשטות: האם להרחיב לצוות נוסף, לשנות את התרגיל, לפתור חסם גישה או לעצור. הרחבה דורשת לראות תוצאה שחוזרת. שינוי תרגיל יכול להסתמך גם על קושי עקבי בלמידה.
NIST AI RMF מציג מדידה כחלק ממערכת שכוללת גם ניהול, מיפוי וטיפול בסיכון. הטענה כאן מצומצמת: מדד לבדו אינו תוכנית ניהול. צריך לחבר אותו לבעלות ולהחלטה.
איך מטפלים בנתונים חסרים
אל תמלאו חורים בהערכות שנראות מדויקות. תסמנו שהנתון חסר, הסבירו למה הנתון חסר והחליטו אם הצוות יכול לפעול בלעדיו. אם הצוות לא יכול למדוד זמן, תתחילו באיכות. אם אין נתוני שימוש, תבצעו דגימה מוסכמת.
מאז סוף 2022 עבדתי עם עשרות רבות של ארגונים והעברתי מאות הרצאות וסדנאות. אחת התובנות הפרקטיות שלי היא שמדידה שורדת רק כאשר היא קלה מספיק לביצוע ובעלת משמעות למנהל העסקי. תוכנית מושלמת לא עוזרת אם אף אחד לא אוסף את המדגם השני.
איך מפרשים תוצאה מעורבת
אם הזמן ירד והאיכות נשארה יציבה, זו יכולה להיות תוצאה טובה. אם האיכות ירדה, צריך להחליט אם הירידה קבילה. אם השימוש בכלי עלה אבל הזמן לא השתנה, אולי תהליך העבודה אינו מתאים או שהלמידה מוקדמת. אל תכריחו כל תוצאה להיכנס לסיפור הצלחה.
מודל Kirkpatrick מפריד בין שינוי בהתנהגות לבין תוצאות. ההפרדה מזכירה ששימוש חוזר ושינוי במשימה הם שני דברים שונים.
בדיקת איכות של הדוח
- האם כל מספר כולל הגדרה ומקור?
- האם התקופה זהה בהשוואה?
- האם המגבלה מוצגת ליד התוצאה?
- האם ברור מי מחליט ומה הפעולה הבאה?
אם התשובה לאחת השאלות היא לא, תעדכנו את הדוח לפני שמציגים מסקנה. תכל'ס, שקיפות קטנה עכשיו חוסכת ויכוח גדול אחר כך.
ההמלצה שלי למדידה שתוכלו להסביר
תקבעו גם קצב קבוע לבדיקת המדדים עצמם. אחת לרבעון, תבדקו אם תהליך העבודה עדיין רלוונטי, אם מקור הנתונים השתנה ואם האחראי עדיין מסוגל לפעול על הממצא. מדד שאיבד קשר להחלטה צריך להשתנות או לרדת מהדוח. כך מערכת המדידה נשארת קלה, אמינה ושימושית גם אחרי שההתלהבות הראשונית מההדרכה יורדת, בלי לייצר איסוף אוטומטי שאיש כבר לא בוחן.
תקבעו מראש מי רשאי לראות את הנתונים ובאיזו רמת פירוט. מדידת למידה אינה סיבה לבנות מעקב אישי מיותר. ברוב המקרים, הצוות יכול לעבוד עם נתונים מצרפיים, דגימות ותוצרים מוסכמים. כשכן אוספים נתון אישי, תגדירו מטרה, הרשאה ותקופת שמירה.
תפרידו גם בין מדד שמיועד לשיפור ההדרכה לבין מדד שמיועד להחלטת השקעה. הראשון יכול להיות מהיר ורך יותר. השני דורש הגדרות ברורות יותר ותיעוד של המצב הקודם ובדיקה עסקית. ערבוב ביניהם מעמיס על המשתתפים ומייצר ציפייה שמספר אחד יענה על כל שאלה.
ולבסוף, תחזירו את הממצאים לאנשים שעשו את העבודה. צוות שרואה מה נלמד מהמדגם יכול לתקן תהליך העבודה ולתת הקשר לנתון. בלי השיחה הזאת, גם מדידה מדויקת עלולה לפספס את הסיבה האמיתית לשינוי.
תוסיפו גם כלל עצירה למדידה עצמה. אם האיסוף יקר מדי, פולשני מדי או לא משפיע על החלטה, הפסיקו אותו. לא כל מדד ראוי להפוך ל-KPI קבוע. מדידה היא אמצעי למידה וניהול, לא יעד בפני עצמו.
כאשר משווים צוותים או תקופות, תבדקו שההקשר דומה. עומס עונתי, שינוי מנהל, מערכת חדשה או שינוי סוג המשימות יכולים להסביר חלק מהתוצאה. אין צורך לבטל את המדידה. תתעדו את המשתנים ותמתנו את הניסוח בהתאם.
בדוח להנהלה, תציגו שלוש שכבות: מה ידוע, מה משוער ומה עדיין לא ידוע. ליד כל מסקנה תוסיפו את הפעולה הבאה. למשל, "נראה שזמן ההכנה ירד במדגם, האיכות נשארה יציבה, והצוות צריך מדגם נוסף לפני הרחבה". זה משפט שימושי יותר מ"ההדרכה הצליחה".
אם אתם מודדים כמה משימות, אל תחברו אותם אוטומטית לממוצע. שיפור גדול במשימה פשוטה יכול להסתיר בעיה במשימה רגישה. תציגו תהליך העבודה בנפרד, ואז סיכום ברמת התוכנית. כך ההנהלה יכולה לבחור היכן להרחיב והיכן לעצור.
תבחרו מעט תהליכי עבודה ותמדדו משימה, לא רעיון כללי של פרודוקטיביות. תפרידו בין שימוש בכלי, שימוש שחוזר על עצמו ותוצאה. ליד כל מספר תכתבו מאיפה הוא הגיע, מי אחראי עליו, לאיזו תקופה הוא מתייחס ומה הוא לא מוכיח. אם אין לכם תמונת מצב מלפני ההדרכה, אל תנחשו. תקחו מדגם קטן לפני שמתחילים.
כאן לא צריך להבטיח הבטחות גדולות. תדייקו. מסגרת מדידה טובה אינה מבטיחה ROI. בעזרתה תוכלו לומר מה ראינו, מה לא ראינו ומה כדאי לבדוק עכשיו.
שאלות נפוצות
איך מודדים הצלחה של הדרכת AI?
משלבים תגובה, למידה, התנהגות ותוצאה בתהליך עבודה מוגדר. כל שכבה עונה על שאלה אחרת.
מה צריך למדוד לפני ההדרכה?
משימה, תיאור המצב הקודם, מקור נתונים, אחראי ומגבלה. רצוי לבחור שתיים עד חמש משימות.
האם 7, 30 ו-90 יום הם תקן?
לא. זו המלצה לקצב בדיקה של אייל. צריך להתאים אותה לקצב העבודה ולזמינות הנתונים.
מה ההבדל בין שימוש בכלי, שימוש קבוע והשפעה?
שימוש בכלי הוא עצם הפעילות. שימוש קבוע אומר שאנשים חוזרים לכלי במשימה המתאימה. השפעה היא שינוי במשימה או במדד שהגדרתם.
האם חיסכון בזמן מוכיח ROI?
לא לבדו. צריך למדוד גם איכות, עלות, תקופה, הנחות וגורמים נוספים.
רוצים לדעת מה לבדוק אחרי ההדרכה?
נוכל לבנות יחד מדידה קטנה ומעשית סביב המשימות שבאמת חשובות לארגון.