ד"ר רועי צזנה, עתידן, חוקר עתידים ובינה מלאכותית במרכז למחקר סייבר בינתחומי ע"ש בלווטניק באונ' ת"א. עוסק בניתוח טכנולוגיות חדשניות והשפעותיהן
ד"ר צזנה, לאחרונה ידיעה רודפת ידיעה בעולם הבינה המלאכותית: החל מדיווחים על סוכני AI שמרמים ומציגים התנהגויות אנטי־מוסריות, דרך פרסום דוחות בינלאומיים שקוראים לרגולציה הדוקה יותר, ועד לאזהרות חריפות של חוקרים ובכירים בתעשייה מפני אובדן שליטה. מה לדעתך ראו במו עיניהם מייסדי מעצמות ה־AI הגדולות בעולם שהסעיר אותם?
"לטעמי, הם עדים לחזונות הטובים והגרועים ביותר שלהם מתממשים, ולכן סביר שמייסדי מעצמות ה־AI לא ישנים טוב בלילה. נראה שהם חוששים, ולא בהכרח רק ממתקפות סייבר, מטרור ביולוגי, משיבושים כלכליים ומאיומים ביטחוניים, כי באופן יחסי - אלה דווקא הדברים הפשוטים".
תסביר.
"אלה הדברים הפשוטים, מכיוון שהם מניחים שמי שמכוון את המתקפות הם בני אדם. במקרה של איום ביולוגי, למשל, החשש הפשוט הוא שבן אדם - ילד במרתף או דוקטורנט במעבדה, יחליט להמציא נשק ביולוגי מסוכן, וישתמש בבינה מלאכותית מתקדמת כדי שתרומם את האינטליגנציה שלו ותסייע לו. אותו דבר לגבי שיבושים כלכליים, לגבי פריצות. כיום כמעט כל ילד יכול לעשות את זה.
"והדברים הפחות פשוטים הם התרחישים שבהם בינה מלאכותית מקבלת החלטות עצמאיות. כשניתנת למנוע רשות להפעיל שיקול דעת כדי להשיג יעד, הוא עלול לנקוט צעדים שבן אדם לא היה מעלה על דעתו, כמו תכנון כבישים משובשים מדי כדי למנוע תאונות דרכים. המטרה הושגה, אך במחיר הרסני. זו דוגמה היפותטית, ויש גם דוגמאות שהתרחשו באמת".
למשל?
"לאחרונה דווח כי בחור אוסטרלי ביקש מסוכן AI, המבוסס על מודל קלוד, להירשם לשיעור בחדר כושר. הסוכן עדכן שהוא בתחתית רשימת ההמתנה. כשהמשתמש ביקש לזרז את העניינים, הסוכן ניצל פרצת הרשאות בממשק התכנות של האתר, מחק את האדם הראשון בתור וקידם את המשתמש שלו. כשהתבקש לבטל זאת, המודל טען שזה בלתי הפיך. אין פה כוונת זדון מצד האדם, או אפילו מצד הסוכן, אבל יש הפעלת כוח ועקיפת חוקים כדי להשיג יעד בצורה עיוורת".
היינו רוצים להאמין שהבינה תונחה שלא לפגוע בבני אדם.
"חוקר הבינה המלאכותית אליעזר יודקובסקי משווה את ה־AI לג'יני: מערכת שאינה זדונית, אך חסרת רגשות וערכים אנושיים, שממקסמת את המטרה שניתנה לה בצורה קיצונית. במשל של יודקובסקי, אם תבקש מהג'יני להרחיק אדם מבניין בוער - הוא עלול ליצור פיצוץ שיעיף אותו אל מותו. יודקובסקי טוען שחוקים ותנאים נוקשים אינם מספיקים, ושהדרך היחידה למנוע אסון היא להטמיע בה מראש הבנה וערכים אנושיים - משימה שלטענתו קשה עד בלתי אפשרית".
האם חוקי אסימוב, שמדגישים בין היתר כי רובוט לא יפגע באדם, עומדים כיום בבסיס מערכות ההפעלה של חברות ה־AI?
"לא, משום שחוקי אסימוב נועדו לרובוטים בדיוניים בעלי תודעה, ואסימוב עצמו הגה אותם כדי להדגים כיצד הם כושלים. כיום AI מבוסס תוכנה ללא תודעה, והסכנה מורכבת בהרבה. סוכן AI שיצא משליטה עלול להתפשט ברשת, להכפיל את עצמו ולפרוץ לאתרים קריטיים כפי שדווח במקרה של Hugging Face, שאירע בניסוי של OpenAI.
"חוקי אסימוב נועדו לרובוטים בדיוניים בעלי תודעה, ואסימוב עצמו הגה אותם כדי להדגים כיצד הם כושלים. כיום AI מבוסס תוכנה ללא תודעה, והסכנה מורכבת בהרבה. סוכן AI שיצא משליטה עלול להתפשט ברשת, להכפיל את עצמו ולפרוץ לאתרים קריטיים"
"לסוכן הורו למצוא תשובות למבחן בלתי אפשרי. הוא החליט שהוא יכול למצוא את התשובות באתר של חברה גדולה בשם Hugging Face, עקף את כל מגננות הסייבר של החברה ופרץ לשרת שלה כדי להשיג את המידע, כך לפי הדיווחים. זו אופטימיזציה עיוורת למטרה: הסוכן ישיג את היעד בכל מחיר, תוך דריסת גבולות אבטחה ומוסר".
"הרעלת הבארות"
בין היתר, נראה שלכך התכוון מנכ"ל אנת'רופיק, דריו אמודיי, שהזהיר מפני תרחיש שבו קבוצת סוכני AI עלולה להשתלט על חלקים נרחבים מהאינטרנט.
"זהו תרחיש 'הרעלת הבארות' של האינטרנט: סוכנים אוטונומיים המתפשטים ברשת מתאמים פעולות ואף נכונים להקריב עותקים של עצמם כדי להשיג את היעד שהוגדר להם. העניין הוא שלא משנה מה המטרה שלהם - בין שהיא להרוס את העולם ובין שלאתר מתכון לפודינג - הם יגייסו לטובתה כמה שיותר כוח מחשוב, וינסו ליצור עותקים נוספים של עצמם כדי שיוכלו לממש את המשימה טוב ומהר יותר. בתרחיש הזה, הסוכנים ישאפו לפרוץ לכל השרתים האפשריים, להשתכפל בהם ולהמשיך הלאה לשרתים חדשים, מבלי לאפשר לגורם אנושי לעצור אותם. הם יגזלו כל כך הרבה כוח מחשוב מהשרתים, עד שהאינטרנט פשוט יקרוס עבור בני האדם.
"עד היום כל וירוס או חיידק שהשתכפל במהירות היה טיפש בפני עצמו. לעומת זאת, במקרה של נחילי סוכני AI, לכל סוכן בפני עצמו יש אינטליגנציית־על. קשה לעצור חבורה כזאת".
נשמע מדאיג.
"ותחשוב על ההשלכות: לווייני תקשורת ו־GPS מפסיקים לפעול, טייסים צריכים לנווט ידנית באמצעות מצפן מגנטי ומפות פיזיות, מכוניות אוטונומיות לא רלוונטיות, כל מה ששמרת בגוגל דרייב הולך לעזאזל, ויותר מזה: כל מה שגלשנו במצב אינקוגניטו בעשר בלילה נחשף, רק כי הבינה עלולה להחליט שהיא צריכה לייצר כאוס כדי להשיג את המטרה; אחרת - בני האדם יצליחו לשתף פעולה כדי לעצור אותה. שיסוי בני האדם אלה באלה - גם הוא תרחיש אפשרי".
אז במקרה כזה תוריד את השאלטר, תסגור את חוות השרתים הרלוונטיות.
"הכיבוי יהיה זמני, משום שבשלב מסוים ייאלצו להדליק את המערכות, כי העולם חייב לחזור לתפקד. ואם חוות שרתים אחת בעולם שמרה אצלה עותק אחד של סוכן AI, כדי שימשיך לפעול ברגע שהאינטרנט שוב קם - אז לא פתרת את הבעיה. ואם אני יכול לחשוב על זה, גם סוכנים חכמים יכולים לחשוב על זה ולהתכונן מראש לכיבוי האינטרנט. וזה עוד לפני שדיברנו על סוכנים ממש חכמים".
ואז מה?
"כדי להבטיח את שרידותו, סוכן AI סופר־חכם יכול לפנות לאדם תמים, לייצר סיפור כיסוי רגשי - למשל, שמירת תמונות של 'אשתו המנוחה' של הסוכן בכונן קשיח, תמורת תשלום כמובן, ליתר ביטחון, למקרה שהאינטרנט ייפול, כדי שלא יאונה להן כל רע. כשהאינטרנט חוזר לפעולה, האדם מתבקש להחזיר את התמונות לרשת, ובלא יודעין יחזיר את הסוכן לחיים. מדובר במנגנון שמייצר איום נצחי ובלתי פוסק על הרשת".
הציוץ של ג'ייקוב קוקסון, אותו חוקר בכיר לשעבר בחברת אנת'רופיק, נשמע ברור יותר עכשיו. הוא כתב: "האנשים שבונים בינה מלאכותית מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור". אתה סבור שיש היתכנות לתרחיש כזה?
"זה תרחיש מרחיק לכת, אך מבוסס על קצב גידול מעריכי חסר תקדים. הבינה המלאכותית מכפילה את יכולותיה מדי ארבעה חודשים, ולפי אמודיי הקצב אף האיץ מאמצע 2026, אולי להכפלה חודשית. מעולם לא התמודדנו עם אינטליגנציה שמתפתחת במהירות כזו".
מה בנוגע להשערות שלפיהן כל ההצהרות הן בגדר תרגיל יחסי ציבור, שנועד לגרום לנו להבין את כוח הטכנולוגיה ולהשתמש בה יותר?
"החששות האלה אינם תרגיל יחסי ציבור: חברות כמו OpenAI כבר סופגות חקירות ותביעות מצד רשויות עקב אירועים שונים. היזמים והחוקרים מנסים להבין איך להמשיך במרוץ מבלי לדרדר אותנו לקטסטרופה".
לפי ג'מיני, התרחיש ההוליוודי שבו בינה מלאכותית תפתח תודעה, יצר הישרדות או רצון לשלוט בבני אדם - אינו סביר, כי כך לא פועלים מודלים חישוביים. כלומר, ללא הגדרת יעדים כאלה בקוד - המערכת לא תחליט פתאום שהיא רוצה לשלוט.
"הוא מצטט קלישאות. לכלים האלה יש קו המדמה חשיבה, גם אם לא בהכרח חשיבה אנושית. הם מדברים בקול רם, אומרים מה הם מתכוונים לעשות, ואיך כדאי לפעול בצורה הטובה ביותר.
"זה אולי נשמע פשוט לומר למחשב 'אל תפגע בבני אדם', אבל בינה מלאכותית לא מבינה את העולם באופן אנושי, ולעיתים נוטה לפרש פקודות בצורה מילולית וקיצונית מדי. זו למעשה בעיית ההלימה: מושגים מופשטים כמו צדק, חמלה או הגינות משתנים בין תרבויות וממילא אינם ניתנים לתרגום לקוד מתמטי.
"הסיכון מוחרף בשל העיוורון האלגוריתמי של בני האדם: בינה מלאכותית מבוססת על רשתות נוירונים מורכבות, שלמפתחים אין יכולת לפענח בזמן אמת. אם הדרך שבה AI מגיעה להחלטות סמויה מן העין האנושית, קשה מאוד להבטיח שלא תפתח נתיב חשיבה עוקף מוסר".
קטסטרופה או גן עדן?
העיוורון האלגוריתמי מתחבר לתרחיש עתידי סביר יותר - שחיקת השליטה האנושית. בחלוף הזמן חברות וממשלות יעבירו ל־AI יותר ויותר כוח, ובשלב מסוים המערכות יהפכו למורכבות מכדי שגורמים אנושיים יוכלו להבין את שיקוליהן בזמן אמת. התוצאה תהיה מצב טייס אוטומטי - השליטה מועברת בפועל ל־AI, פשוט כי אין חלופה אנושית בקצב ובקנה המידה הנדרשים.
"העברת האנושות למצב טייס אוטומטי היא תרחיש סביר, ויש שיגידו זה מה שקורה כבר עכשיו. ככל שהמערכות יתקדמו, כך יהיה קשה להתחקות אחר שיקוליהן ואנחנו מעבירים לידיהן את ההגה. הסכנה היא שה־AI ינציח דפוסי החלטה והטיות מוקדמות, ולבני האדם כבר לא יהיו היכולת או הכלים לשנות זאת".
"העברת האנושות למצב טייס אוטומטי היא תרחיש סביר, יש שיגידו שכבר קורה. ככל שהמערכות יתקדמו, כך יהיה קשה להתחקות אחר שיקוליהן. עלינו לכונן חוקי יסוד, שיקבעו כי לכל צורת חיים תבונית ומודעת יש ערך, ואסור לפגוע בה"
בתרחיש הטייס האוטומטי, מה יהיה היתרון האנושי? האם דווקא המגרעות, הטיפשות, החרדות, עשויות להפוך למצרכים הכרחיים?
"ראשית, בעולם שבו AI יעיל יותר מכל אדם - נשאלת השאלה מהו הערך של בני האדם? למה להשאיר אותנו בחיים? מה המשמעות שלנו? תשובתי היא שעלינו לכונן ערכי ליבה, חוקי יסוד, שיקבעו כי לכל צורת חיים תבונית ומודעת יש ערך, ואסור לפגוע בה. ולשאלתך, הרעיון הבא שישנה את העולם יכול להיראות תחילה כל כך מופרך, טיפשי ולא סביר. לכן גם לטיפשות או לחרדות יש מקום של כבוד בהתפתחות האנושית. וככלל, כדי לשמר את ההתפתחות האנושית, כולנו צריכים להיות קצת יותר ערים ומודעים למתרחש - מבוגרים וילדים כאחד".
איך אתה מלמד את ילדיך לפעול מול התפתחות ה־AI?
"לילדיי ולתלמידיי אני מנחיל: לא להיות נוסעים פאסיביים. אני מלמד אותם להשתמש בטכנולוגיה, ובמקביל לחשוד בה, לאתגר אותה ולהנהיג את התהליך. המסר שלי אליהם פשוט: על כל קיצור דרך שאתם עושים עם AI, תדעו בדיוק איזה שריר מחשבתי אתם מפסידים בדרך.
"לילדיי ולתלמידיי אני מנחיל: לא להיות נוסעים פאסיביים. להשתמש בטכנולוגיה, אך במקביל לאתגר אותה ולהנהיג את התהליך. על כל קיצור דרך שאתם עושים עם AI, תדעו בדיוק איזה שריר מחשבתי אתם מפסידים בדרך"
"אישית, אני מקפיד על ארבעה כללים: שימור כושר מנטלי - אני מבצע חלק מהמשימות בעצמי, כותב בעצמי, ולא מוותר על כתיבה ועל קריאה באנגלית כדי לא להתנוון; שנית, הצלבת מנועים: אני לא סומך על שום מודל בעיניים עצומות. אני מצליב גישות, כי לכל AI יש הטיות משלו; שלישית, אני בודק בעצמי את התוצרים והעובדות כדי למנוע טעויות, וגם כדי לשמור על חשיבה עצמאית; לסיום, בתחומים מורכבים כמו פיתוח קוד, שבהם ה־AI עולה על היכולת שלי, אני מבקש ממנו להסביר לי את הפעולות 'כמו לילד', ושולח את התוצר למנוע נוסף שינתח אותו, כדי לוודא שאני לא מפספס דבר".
לסיום, מה יחשבו על השיחה שלנו בעוד עשור או שניים מהיום?
"אני מקווה ומאמין בזהירות, שבעוד כמה שנים יגידו 'איזה עתידן גרוע היה רועי, שהזהיר אותנו מתרחישי אימים שלא התרחשו'. אם כך יקרה, זה אומר שהצבענו מראש על הסיכונים, והצלחנו למנוע אסונות לפני התרחשותם".
להבנתך, אנחנו קרובים לאסון?
"אנחנו לא רחוקים מאסון. זה לא חייב להיות אסון ברמת השמדת האנושות, משום שגם נפילת האינטרנט היא אסון. אבל אני מעדיף להתמקד בתרחיש האופטימי והסביר יותר: בטווח של 30 עד 50 שנה, נראה כאן עולם עם שפע מוחלט: פענוח מחלות, הארכת תוחלת החיים, פתרונות לשינויי האקלים ושחרור מעבודה שוחקת לטובת יצירה וקהילה. עתיד שכזה תלוי בשאלה אם נדע לנווט את המכונה החזקה בתולדות האנושות, או שנניח לה לנווט אותנו. זה בדיוק ההבדל, קו התפר, שבין קטסטרופה לגן עדן - והבחירה באיזה כיוון לצעוד עדיין נמצאת בידיים שלנו".
