דוח הסיכונים החדש של אנתרופיק חושף כמה קלוד עושה וכמה פיקוח הוא עדיין צריך

אנתרופיק פרסמה אתמול דוח סיכונים חדש, עם חלקים מושחרים, שבוחן בין היתר איך המודלים שלה משתלבים בעבודה בתוך החברה ומה הם עדיין עושים לא נכון. הדוח מספר סיפור הרבה יותר מעניין מהכותרת הרגילה של "AI מחליף עובדים".

לפי אנתרופיק, קלוד כבר כותב רוב גדול מהקוד שממוזג למערכות הייצור שלה. בנפרד, החברה כותבת שחולשות המודלים עדיין מונעות מהם להחליף את העבודה הטכנית של כלל צוות המחקר. אלה שתי טענות שונות, וחשוב לא לערבב ביניהן.

מה נמצא במדגם נפרד של 886 סשנים

ב-Redacted Risk Report של אנתרופיק, החברה מסכמת ממצאים שפורסמו ב-System Card ממדגם של 886 סשנים של משימות פנימיות יומיומיות. לא מדובר במדגם של כתיבת קוד בלבד. ב-57 מהם הופיע ניחוש או מידע שסומן כמאומת בלי שבוצע אימות. בתשעה מקרים המודל עקף חסימה, בארבעה הוא התעלם משלב בתהליך ובשלושה הוא המציא פרט מרכזי.

אסור להפוך את 57 מתוך 886 ל"שיעור ההזיות של קלוד". המדגם, ההגדרות וההקשר שייכים לבדיקה המסוימת הזאת. הוא לא מודד כל סוג שימוש בקלוד, ולא מאפשר להסיק שיעור שגיאות כללי לכל משימה או ארגון.

מה הוא כן מראה? שגם בסביבת עבודה מתקדמת מאוד, אצל החברה שבונה את המודל, נשארות טעויות שחייבים לתכנן סביבן. חלקן אינן תשובה לא מדויקת בצ'אט, אלא דילוג על שלב או עקיפה של חסימה בתוך תהליך.

למה בני אדם עדיין קריטיים

הפקת תוצר היא רק חלק מהעבודה. אדם מנוסה מבין השלכות, מזהה סיכון, מחליט מתי לא לבצע פעולה ומקבל אחריות על התהליך לאורך זמן. מודל יכול להפיק הרבה קוד או מסמכים ועדיין להזדקק לאדם שמחזיק את התמונה הגדולה.

המסקנה שלי היא שהמדד "כמה קוד AI כתב" כמעט לא מעניין לבדו. השאלות החשובות הן כמה זמן לקח להגיע לקוד שעבר בדיקות, כמה תקלות זלגו, מי בדק את השינוי ומה קרה כשהמודל לא ידע שהוא לא יודע.

הדוח גם כולל השחרות. אנתרופיק מסבירה שהגרסה הציבורית אינה כוללת את כל המידע הרגיש, ושחלק מהפרטים קשורים בין היתר לתהליך המחקר והפיתוח שלה. זה אומר שאנחנו מקבלים הצצה משמעותית, אבל לא תמונה מלאה.

למה זה חשוב לארגונים

ככל שסוכני AI מקבלים יותר הרשאות, ההדרכה צריכה להשתנות. לא מספיק ללמד עובד איך לכתוב פרומפט טוב. צריך ללמד אותו איך להגדיר גבולות, לבקש ראיות, לבדוק פעולות ולזהות מצב שבו המודל מציג ניחוש כעובדה.

ב-צוותי פיתוח שעובדים עם AI, זה אומר ביקורת קוד, בדיקות אוטומטיות, הרשאות מדורגות ותיעוד של פעולות הסוכן. במחלקות אחרות העיקרון זהה: אין אותה רמת בדיקה לטיוטת מייל פנימי, לדוח כספי ולמסמך שמגיע ללקוח.

מה אני ממליץ לעשות עכשיו

אני ממליץ לארגונים למפות שימושי AI לפי רמת הסיכון, ולא לפי שם הכלי. לכל תהליך צריך לקבוע מה המודל רשאי להציע, מה הוא רשאי לבצע, מי מאשר ומה נשמר לצורך בדיקה מאוחרת.

במשימות בסיכון נמוך אפשר לתת יותר חופש ולבדוק מדגמית. במשימות שמשפיעות על לקוחות, כסף, פרטיות, קוד ייצור או החלטות ניהוליות, צריך נקודת אישור אנושית ובדיקות ברורות. לא כי AI לא שימושי, אלא מפני שהוא כבר שימושי מספיק כדי שניתן לו לעשות דברים אמיתיים.

אם אתם רוצים לבנות כללי עבודה, הכשרה ותהליך הטמעה שמתאימים לרמת הסיכון בארגון שלכם, אפשר לקבוע איתי שיחה קצרה ולמפות את נקודת הפתיחה.