ברוכות הבאות והבאים למהפכת ה-AI
25 ביוני, 2023 |
(וכן, הכנסתי באלגנטיות את העובדה שאני מרצה על AI, אבל הטרוניות באמת התרחשו).
אז אי אפשר לסמוך על ChatGPT?
צללתי למעמקים כדי להבין מדוע המודלים הוזים / משקרים. התשובה – באייטם הגדול הראשון.
ומה עוד?
- הרגולציה האירופאית מפחידה ומעודדת.
- מקינזי מפרסמים דו״ח מקיף על השפעות ה-Gen AI על שוק העבודה בעשורים הקרובים.
- גבר שאיבד את אימו בפתאומיות ניסה לנהל איתה ״שיחה אחרונה״ בעזרת ChatGPT.
- מעבדים גראפיים מבוססי תאי מוח אנושי.
- בינה מלאכותית לשיחה עם בעלי חיים.
- ניבוי סרטן השד בעזרת AI.
- ועוד ועוד.
חדשות - בקצרה
1. גבר בן 32 מוורמונט הכניס ל-ChatGPT המוני הודעות שכתבה אימו שנפטרה בפתאומיות, וניהל שיחה עם הבוט כדי לעשות ״שיחה אחרונה״ עם האם. למרות שהניסוחים היו די דומים, החוויה הפחידה את הבחור, והוא אינו ממליץ לעשות את זה. מפתיע.
2. חברת Marvel יצרה כתוביות לסדרה החדשה שלה – Secret Invasion, בעזרת Gen-AI וספגה קיתונות של ביקורת על זה שדחקה החוצה אמנים לטובת המכונה. הכתוביות, אגב, יצאו סבבה, לא יותר (לדעתי הצנועה).
2. מספר מעבדות וחברות בעולם עובדות על האפשרות לדבר עם בעלי חיים (באמצעות AI). אני חולם על זה שנים, באמת. יש לי כלב נבחן, ואני משתוקק לדעת מה הוא אומר.
3. בקרוב ייכנס איסור על ייצוא מעבדים לסין, והחברות הסיניות מנסות לשים ידן על כמה שיותר מעבדים גראפיים. Bytedance, חברת האם של טיקטוק רכשה עד כה ב-2023 מעבדים גראפיים של NVIDIA במיליארד דולר.
4. סטארטאפ אוסטרלי בשם Cortical Labs הכריז על תכנית להפוך למוביל בתחום המעבדים, סטייל NVIDIA, עם מעבדים מבוססי תאי מוח אדם. איך? הוא מאמן תאי מוח שיושבים על שבבים. כן. אני לא הוזה. הם כבר אימנו תאי מוח על שבב שכזה לשחק Pong.
5. ניסוי ראשון ב-Tele-Robot שיאפשר לרופאים לגעת ולחוש מטופלים, מרחוק(!). איך? eSkin – מספר שכבות דקיקות של חיישני מגע ולחץ.
6. המגזין הגרמני Bild הודיע על קיצוץ מסיבי בעלויות, כולל החלפת משרות אנושיות במערכות AI. הצפי הוא לקיצוץ של כ-200 משרות (סביר שהמגזין, הגדול ביותר באירופה, משתמש בהתפתחויות גם כתירוץ לפיטורים, וגם כתחליף אמיתי).
7. פורטוגל מכניסה בוט למענה לשיחות חירום (מבוסס ChatGPT). מי שכרגע מתקשר בשעות הלחץ למוקד החירום 112, לעיתים נאלץ להמתין 5-6 דקות למענה.
8. מודלים של AI ניבאו סרטן שד בדיוק גדול יותר מאשר מודל BSCS, שבו משתמשים כרגע לחזות הופעת סרטן בחמש השנים לאחר הבדיקה. השילוב בין מודל AI למודל BSCS הניב את החיזוי המדויק ביותר.
9. מערכות AI הצליחו לנבא אילו שירי פופ יהיו להיטים בדיוק של 97%. החוקרים אומרים שלהצלחה כזו תהיה השפעה על תכניות כגון ״הכוכב הבא״ ועל המלצות תוכן בשירותי סטרימינג של מוסיקה וטלוויזיה.
אם יצא ניוזלטר ולא קראו אותו, האם הוא יצא באמת?
תשלחו לשני חברים, כדי שיירשמו לניוזלטר, ונגלה.
שלושה דברים גדולים
1. למה מודלי ה-AI ״הוזים״ (משקרים)?
זו שאלה סופר קריטית בנוגע לשימוש שלנו במודלים דוגמת GPT – מדוע כאשר המודל אינו מוצא תשובה ראויה, הוא ממציא, הוזה, ולמעשה עושה מה שאדם נכלולי במיוחד היה עושה – משקר במצח נחושה ובשכנוע רב.
לפני מספר ימים שאלתי את ChatGPT (מודל GPT4, אני ממליץ לכולם לשדרג, בלי מחשבה שניה) שאלה מורכבת על מחקרים הנוגעים לשוק העבודה. ביקשתי שיגיד אם הוא לא יודע את התשובה (זה לא עבד, ידעתי אבל קיוויתי) וביקשתי רפרנסים, כולל לינקים למקורות שמהם שאב את התשובות. הוא ענה עם תשובה ארוכה, משכנעת ומופרכת לחלוטין. אפילו סיפק לינקים (שבורים ולא נכונים).
פויה GPT4!!!
אז חקרתי את הנושא.
מודלי השפה, ה-LLMs (Large Language Models) עובדים בשיטה מפתיעה – הם ״עיכלו״ כמויות עצומות של מידע, וכאשר אנחנו שואלים אותם או מבקשים מהם משהו (נותנים להם פרומפט) – הם למעשה חוזים את התשובה הטובה ביותר.
יותר מהתשובה, המודלים חוזים מה המילה המתאימה ביותר שתעקוב אחר המילה האחרונה שהם קיבלו כפרומפט, ולאחר מכן מהי המילה הנכונה ביותר שתעקוב אחר המילה שהם הציעו כרגע.
כלומר – המודלים ״חוזים״ מילה אחר מילה את התשובה.
מעניין.
ומדוע הם מספקים מידע לא נכון?
יאן לקון, ממובילי מהפיכת ה-AI, מדען AI ראשי ב-Meta כרגע, הזכיר לאחרונה את הפגם המרכזי בלימודי LLM שגורם להזיות: "למודלים של שפות גדולות אין מושג על המציאות הבסיסית שהשפה מתארת. המערכות האלה מייצרות טקסט שנשמע בסדר, דקדוקית וסמנטית, אבל אין להן באמת איזושהי מטרה מלבד סיפוק עקביות סטטיסטית עם הפרומפט".
כלומר – המילה הזיות או שקרים אינה באמת נכונה.
מדוע?
גם כי אנחנו מייחסים למודלים תכונות אנושיות, וזה לא הגיוני בשלב הזה.
וגם – למודלים אין מושג מהי המציאות האמיתית. הם לא יודעים מהי הזיה או שקר. הם יודעים לעשות דבר פשוט – לנבא מילה אחר מילה – מהי המילה המתאימה ביותר.
ולכן – כאשר אין מידע מספיק למענה לפרומפט שלנו, או כאשר יש הטיה בנתונים, הם יספקו תשובה שאינה נכונה, ומורכבת למעשה מגיבוב של מילים שמסודרות נכון תחבירית, והן הכי ״קרובות״ למענה לשאלה שלנו.
OpenAI ו-DeepMind של גוגל פיתחו טכניקה שנקראת למידת חיזוק עם משוב אנושי (RLHF) כדי להתמודד עם בעיית ההזיה של ChatGPT. זה כרוך ב״מעריך״ אנושי שסוקר את התגובות שמספק המודל ובוחר את ההנחיות המתאימות ביותר להנחיות המשתמש. אותו אדם שעוקב אחר התשובות מסמן למודל מהי התשובה הטובה יותר.
Ilya Sutskever, המדען הראשי של OpenAI, אמר לאחרונה שגישה זו יכולה לפתור הזיות ב-ChatGPT: "אני מקווה שעל ידי החיזוק שמגיע ממשוב האנושי, נוכל ללמד אותו לא להזות".
ושני הסנטים שלי?
אני מקווה שעכשיו אנחנו מבינים יותר מה המקור ל״הזיות״ (שאינן הזיות באמת אלא ״טעויות ניבוי״). וכרגע התפקיד של המוח האנושי שלנו, לעבור על התשובות ולוודא שאין טעויות הוא קריטי.
חברי הלל רז המעולה גם הוסיף (התייעצתי, בכל זאת דוקטור למתמטיקה) שאותן הזיות של המודלים הן גם הבסיס ליצירתיות שאנחנו דורשים (למשל – ״תעבור על הדו״ח הכספי של טסלה, ותהפוך אותו לשיר של לאונרד כהן״). בלי הסטיות של המודל מהתשובות ״האמיתיות״ לא היינו יכולים לקבל תוצאות יצירתיות (ואל תצלבו אותי על שאני טוען ש-ChatGPT יצירתי, נדבר על זה בפוסט אחר).
2. מקינזי מדברים במספרים - מה יקרה לעולם העבודה
Mckinsey, חברת הייעוץ המובילה והמשפיעה ביותר בעולם, הוציאה דו״ח הסוקר את השפעות ה-AI ובמיוחד ה-Generative AI על עולם העבודה בעשורים הקרובים.
כדי לא לאכול את הראש, הנה הממצאים המעניינים ביותר:
1. Gen AI יכול להוסיף תוצר בשווי של 2.6 טריליון עד 4.4 טריליון דולר בשנה (רק להשוואה, התל״ג של בריטניה ב-2021 היה 3.1 טריליון דולר).
2. כ-75% מההשפעה של ה-Generative AI תהיה ב-4 תחומים – ניהול לקוחות, שיווק ומכירות, הנדסת תוכנה ו-R&D. זה סופר חשוב להבין – שם יהיו השינויים הגדולים ביותר.
3. ה-Gen AI יחסוך 60-70% מזמן העבודה. שישים עד שבעים אחוז! (כתבתי במילים כדי שנבין כמה זמן יתפנה לנו לעשות דברים גדולים, חכמים ויצירתיים יותר).
עוד נתונים מעניינים, בדו״ח עצמו.
3. הרגולציה האירופאית בנושאי AI טובה ומפחידה
האירופאים רצים קדימה עם הרגולציה על ה-AI.
החוק לבינה מלאכותית קיבל תמיכה משמעותית בפרלמנט האירופי והוא מתקדם בסולם החקיקה.
כשמסתכלים על הסעיפים שבחקיקת ה-AI גם אפשר לנשום לרווחה (כי זו תהיה הגנה מבורכת) וגם מקבלים המחשה של כמה מסוכן יכול להיות העולם עם AI.
מה יש בחקיקה?
- איסור על השימוש במערכות זיהוי של רגשות בתחום השיטור, החינוך והעבודה.
זיהוי רגשות בעבודה? המוח שלי כואב רק מלחשוב על האפשרויות הרעות פה. - איסור על שימוש בניטור מדדים בזמן אמת ובשיטות חיזוי משטרתיות במרחב הציבורי.
לא היה את זה בכמה עשרות סרטי מדע בדיוני כבר? - איסור על דירוגים חברתיים (Social Scoring) על ידי גופים ציבוריים.
הלו סין, ושלום מראה שחורה. - אסור לאמן מערכות AI באמצעות חומרים שמוגנים בזכויות יוצרים.
בום! מה יקרה למודלים שכבר עשו את זה?
הרגולציה היא קריטית במקרה הזה, יותר מאי פעם. יותר מכל תחום אחר בחיים שלנו כרגע. אמשיך לעדכן.
(וואו, כמה רציני אני נשמע).
לא ייאמן שיש AI גם לזה
Swifto – כלי לאופריישנס ו-ביזנס. האמת שיש שם כמה דברים שאני משתוקק לנסות (תירשמו לרשימת ההמתנה).
Gamma – אחד הכלים המובילים ליצירת מצגות, מציע עכשיו אפשרות של ייצוא המצגת לפאוור-פוינט. זה מעולה! היזמים מודים שהם נשבעו לאורך הדרך שלא יעשו את זה, ומספרים למה הם כן עושים את זה עכשיו (וטוב שכך).
Dropbox – הכריזו על כניסה של כלי AI משודרגים, כולל חיפוש שיאפשר להשיג מידע מכל הכלים של הארגון (ג׳ימייל, סלאק, דרייב ועוד), אפשרות לחפש בכל המידע ששמור בדרופבוקס (פשוט על ידי שאילת שאלות), איסוף לינקים וסידורם בנוחות ועוד.
Augment – מציעים עוזר אישי שילווה כל פעולה שאנחנו עושים ביומיום המקצועי שלנו. זה העתיד, הממש קרוב – שיהיה לנו Co-Pilot צמוד בכל פעולה. תירשמו להמתנה, שווה להתנסות.
Narrative – מציעים להפוך את הדאטה שלך לתובנות פשוטות שיצופו בעצמן. כלכך נדרש שבא לי לזרוק על המסך שטרות של דולרים. שמישהו יספר לי מה יש בדאטה, במקום שאני אצטרך לחפש, לסנן ולנסות להבין.
חובה לסיים ב-Meme
