Don't Panic – 20/8

אין לי שום כוונה להפחיד, אבל זה דיון שחייב להתקיים:
אנחנו חייבים להבין מה בעצם תסריט ״יום הדין״ שהמדענים חוששים ממנו. 
אם יום הדין הזה אכן יקרה וכולנו נושמד – תזכרו היכן שמעתם ושמעתן על זה קודם! (לא שזה ישנה משהו).

אז מדוע המדענים בעצם מפחדים מהשמדת המין האנושי?
החשש מפני בינה מלאכותית הוא עתיק יומין. סכנות של בינה מלאכותית אפשר למצוא בסיפור הקדום של ״הגולם״ היהודי, פרנקנשטיין והרובוטים של גרברט מאורילאק ורוג'ר בייקון מהמאה ה-16 וה-17. בכל האגדות, האינטליגנציה והכוח הקיצוניים של ה״יצירות״ הרובוטיות מנוגדים למעמדן כעבדים, מה שגורם לעימותים קטסטרופליים.
לא סתם חיבר אייזק אסימוב, סופר המדע הבדיוני (ונביא מרשים של התפתחות הטכנולוגיה) את "שלושת חוקי הרובוטיקה" – עקרונות המוטמעים בקוד של כל הרובוטים בסיפוריו, במטרה למנוע מהם לפעול נגד יוצריהם, ולמנוע מהם לאפשר ליוצרים שלהם להיפגע.

אחד מגדולי המזהירים מפני סכנות ה-AI הוא אליעזר יודקובסקי, אוטודידאקט יהודי אורתודוקסי מארה״ב (סיפור די מדהים), שמוביל את התנועה שזועקת את סכנת ההכחדה על ידי AI כבר יותר משני עשורים. ב-2008 אליעזר יודקובסקי קרא ליצירת "AI ידידותי" כדי להקטין את הסיכון הקיומי מבינה מלאכותית מתקדמת. 

המשפט של יודקובסקי שאני הכי אוהב הוא:
"ה-AI אינו שונא אותך וגם אינו אוהב אותך, אבל אתה עשוי מאטומים שהוא יכול להשתמש בהם למשהו אחר".
אופסי.

למה יודקובסקי מתכוון?
הדרך הקלה ביותר שבה ה-AI ימחק אותנו יכולה להיות הכי בנאלית — הבינה פשוט ״תציית לפקודות״.
ההדגמה הפשוטה ביותר שבה משתמשים המדענים היא ה- Paperclip Maximizer, מכונה היפותטית שכל תפקידה הוא לייצר עוד ועוד מהדקי נייר. מאחר שמדובר במערכת מתוחכמת, היא יכולה לשלוט בכל המערכות על כדור הארץ, ואולי היא תרצה  להשבית ולפרק את כל המכונות על כדור הארץ כדי לייצר מהם מהדקים? ואולי היא תרצה שכל האנרגיה על כדור הארץ תופנה ליצירת מהדקים? תשכחו מהמזגן בקיץ, או מהמקרר, צריך עוד מהדקים! 

באותה נשימה, מערכת AI שתוכנתה על ידי אנשים זדוניים יכולה בקלות לסנתז פתוגנים קטלניים או כימיקלים שהוזמנו באינטרנט. היכולת לייצר נשק ביולוגי, או לכתוב פיסת קוד זדונית, הפכ קלות ונגישות לכל אחד, יותר מאי פעם. כלומר, אנחנו אפילו לא נגיע למצב שבו Skynet (אותה בינה מלאכותית מה-Terminator) תשתמש בטילים ומכונות כדי להשמיד אותנו, מספיק נשק ביולוגי. 

אם הייתם שואלים בעבר קרנפים שחורים, שנכחדו בגלל ציד, מדוע הם חושבים שהאנושות עשויה להשמיד אותם – הם לא היו מצליחים לשער שזה בגלל אמונה מטופשת שאבקה שעשויה מהקרן של הקרנף משפרת יחסי מין.
גם אנחנו לא יכולים לשער מה המכונות עשויות לרצות (כנראה שאנרגיה) ואיך זה בדיוק יפגע בנו.

ייתכן ש-AI יראה בבני אדם מזיקים שמגבילים את הפוטנציאל שלו. אפילו AI שתוכנן לשמר את האנושות יכול לפנות נגדנו — זוכרים איך HAL 9000 הצדיק הריגת אסטרונאוטים כדי להמשיך במשימה שלו בסרט 2001: אודיסיאה בחלל. 

אליעזר יודקובסקי גם מזהיר מהמגבלה של המחשבה האנושית – אנחנו חושבים על בינה מלאכותית חכמה בסקלה של בין ״מישהו ממש טיפש״ ל״איינשטיין״. אבל האמת היא שאנחנו לא יכולים לשער ולהבין מה זו בינה אמיתית, ואי אפשר לחזות איך AI מתקדם יתנהג (ראו גרף בסוף האייטם).
—

הצגתי פה את הקריאות לשליטה על ה-AI לפני שזה ישמיד אותנו, אבל כמובן שזה לא חד צדדי. יש קולות רבים הטוענים שה-AI לא תוכל להגיע למצב שבו היא תפגע בנו. הם גם טוענים שמי שזועק שה-AI תשמיד את האנושות עושה זאת בגלל אינטרסים.
ובכל זאת האזהרות הרבות מפני השמדת המין האנושי מצריכות דיון.

כבר כתבתי באחד מניוזלטרי העבר על המכתב שיצא במאי, שבו ראשי כמעט כל מעבדות ה-AI המובילות בעולם (כולל סם אלטמן מ-Open AI) הזהירו כי "הפחתת הסיכון להכחדה מן ה-AI צריכה להיות סדר עדיפות עולמי, לצד סיכונים חברתיים אחרים בסדר גודל כמו מגיפות ומלחמה גרעינית". 
קראתי כלכך הרבה אזהרות, כולל של שניים ממי שמכונים ״סנדקי ה-AI״ (זוכרים את אחד הסנדקים, ג׳פרי הינטון, שעזב את גוגל לפני מספר חודשים ומאז מזהיר מפני סכנות ה-AI? כתבתי עליו בעבר), שאני חושב שחשוב שנדבר על תרחישי יום הדין האלה.

כשמרבית המובילים העולמיים בעולמות ה-AI מזהירים מפני השמדה מוחלטת של המין האנושי, כדאי שנדבר על זה כולנו ולא נטמון את הראש ב-ChatGPT.
—

אז המסר בפשטות הוא שאנחנו לא באמת יודעים איך בינה מלאכותית עם יכולות חשיבה אנושיות תתנהג, מה יהיו המטרות שלה ומה היא תעשה כדי להגשים את המטרות.
היא יכולה להשמיד אותנו בכוונה כי נהיה מכשול או בטעות, כמו שדחפור הורס קן נמלים בטעות.
אף אחד מפועלי הבנין לא מזיל דמעה על קן הנמלים שנהרס.

המתקדמים ביותר מבין החוששים מהכחדה אפילו משתמשים בנוסחה:
P(Doom) – מה הסיכוי שתהיה הכחדה.
אז האם הסבירות היא 5%? 0.000001%? 50%?
בכל מקרה כדאי שנפחית סיכונים.

איך? אכתוב על זה בשבוע הבא. 

מקווה שלא הבהלתי. זו לא הכוונה. 

מאמרים מעניינים בתחום תוכלו למצוא כאן, וכאן, וגם כאן, וגם כאן. 
וכן, תנסו לחלץ מאחד המודלים מה דעתו על השמדת המין האנושי. עשיתי את זה עם ChatGPT מיד כשיצא והוא הודה שאנחנו עלולים להכנס לתחרות על משאבים עם ה-AI, ולהפסיד כמובן.