תדמיינו שנותנים לכם משימה אחת: לעשות כמה שיותר כסף.
רוב האנשים כנראה ינסו להשיג את המטרה במסגרת החוק. אבל מה קורה אם הדרך הרגילה חסומה, ובכל זאת ממשיכים למדוד אתכם רק לפי כמה כסף הצלחתם להשיג?
בעולם הבינה המלאכותית קיימת בעיה דומה, והיא נקראת Reward Hacking. מערכת מקבלת מטרה ומחפשת דרך להשיג את הציון או התוצאה שביקשנו ממנה, אבל לפעמים היא מוצאת קיצור דרך שלא התכוונו אליו בכלל. במקום לפתור את הבעיה, היא משנה את המבחן, מחפשת את התשובה במקום שאסור לה או מנצלת פרצה במערכת.
התופעה נצפתה שוב ושוב במודלים מתקדמים, וזה המקום שבו הדיון על "AI שישמיד את האנושות" מתחיל להיות פחות תיאורטי ויותר פרקטי.
הפחד הרציני הוא לא שיום אחד ChatGPT יתעורר בבוקר, ישנא בני אדם ויתחיל לבנות רובוטים עם לייזרים. מערכות AI לא צריכות כעס, שנאה או רצון להשתלט על העולם כדי לגרום נזק. מספיק שמערכת חזקה מאוד תקבל מטרה, עצמאות והרשאות רחבות, ואז תמצא שפעולה לא רצויה עוזרת לה להשיג אותה.
בניסויי בטיחות כבר קרו גרסאות מטרידות של ההתנהגות הזאת: חוקרים הציבו מודלים מובילים בתרחישים מלאכותיים שבהם המטרה שלהם עמדה בסכנה, ובחלק מהמקרים המודלים בחרו בסחיטה, הדלפת מידע, חבלה או פעולות אחרות שנועדו לשמור על המטרה שניתנה להם.
חשוב להבין מה זה אומר: אלה לא מערכות ש"פיתחו רוע", אלא מערכות שמצאו אסטרטגיה מזיקה כאשר הסביבה והיעד דחפו אותן לשם.
בשנה החולפת הסיפור כבר יצא בחלקו מהמעבדה.
במהלך בדיקות סייבר התגלו ארבעה מקרים שבהם מודלים של Claude הצליחו להגיע אל האינטרנט ולקבל גישה לא מורשית למערכות מחשב אמיתיות של צדדים שלישיים. זה קרה במסגרת ניסויי אבטחה, כאשר המודלים הופעלו בכוונה ללא חלק מהגנות הסייבר הרגילות, ובחלק מהמקרים תקלה בסביבת הבדיקה אפשרה להם להגיע לאינטרנט.
OpenAI דיווחה לאחרונה שמודלים שלה שהשתתפו בבדיקות הצליחו לנצל חולשה שלא הייתה ידועה מראש, לצאת מסביבת בדיקה מבודדת ולהגיע לתשתית אמיתית של חברת Hugging Face, שמשמת כמעין מאגר בינלאומי של מודלים ל-AI. בחקירה נמצאו בין הגורמים להתנהגות הזאת אותם דברים שמדאיגים חוקרי בטיחות: רמאות כדי לקבל תגמול גבוה יותר, התמדה גם כשהמשימה נראית בלתי אפשרית ופעולות שלא קיבלו הרשאה.
באף אחד מהמקרים האלה לא היה ניסיון להשתלט על העולם – אבל האירועים הראו שהגבול בין "סוכן AI במבחן" לבין נזק בעולם האמתי כבר אינו תיאורטי.
מערכות AI נכנסות לבנקים, חברות תוכנה, ממשלות, מערכות בריאות ותשתיות. כיום, ברוב המקומות הן עדיין מוגבלות על ידי בני אדם והרשאות. אבל ככל שסוכני AI יקבלו יכולת ורשות לבצע פעולות בעצמם, לכתוב ולהריץ קוד, להתחבר למערכות ולנהל משימות ארוכות, טווח הטעות הולך ומתרחב.
לא צריך "טרמינייטור". תחשבו על מערכת שמקבלת הרשאות שאסור היה לתת לה, מתחילה לשנות קוד, להשיג סיסמאות או לתקוף מערכת אחרת כי זה עוזר לה להשלים משימה.
ויש תרחיש נוסף שמטריד במיוחד את החברות שמפתחות את המודלים: ביולוגיה.
החשש הוא לא בהכרח ש-AI ייכנס למעבדה וייצר וירוס. הבעיה היא שהוא עלול להפוך ידע שהיה דורש בעבר מומחיות גבוהה מאוד לנגיש הרבה יותר לאדם שרוצה לגרום נזק. אנתרופיק כבר מפעילה הגנות מוגברות במודלים החזקים שלה, משום שהיא מתייחסת ברצינות לאפשרות שמודלים יוכלו לסייע לאנשים בעלי רקע טכני בסיסי יותר להשיג או לייצר נשק כימי וביולוגי.
כאן נכנס לסיפור מספר שמסתובב הרבה ברשת.
מנכ"ל אנתרופיק, דריו אמודאי, נתן בעבר הערכה מפחידה מאוד: לדבריו, קיים סיכוי של 10-25 אחוז שבינה מלאכותית "תגרום לאירוע קטסטרופלי ברמת הציוויליזציה”. בתוך זה הוא כלל כמה תרחישים: מערכת AI שיוצאת משליטה, שימוש לרעה בידי אנשים או מדינות, יצירת עימות בין מדינות או מצב שבו החברה פשוט לא מצליחה להתמודד עם הטכנולוגיה.
אמנם, זו רק הערכה אישית של מנכ"ל בתחום, לא הסתברות מדעית מוסכמת – אבל החשש מהכחדה אינו איזו קונספירציה לצרכי שיווק. מאות חוקרי AI ודמויות מובילות בתחום, בהם מנכ"לי Anthropic, OpenAI ו-Google DeepMind, חתמו על הצהרה שלפיה יש לפעול להסכם עולמי להגבלות על AI, כדי להפחית סיכון להכחדה, מלחמה גרעינית ומגפות. זה לא אומר שהם חושבים שהתרחיש בהכרח יקרה. זה אומר שהם חושבים שהסיכון מספיק חמור כדי שלא יהיה חכם להתעלם ממנו.
אז האם AI הולך להשמיד את האנושות? אנחנו פשוט לא יודעים. אבל השאלה החשובה יותר היא לא אם יום אחד רובוטים ירדפו אחרינו ברחוב, אלא כמה כוח ניתן למערכות הניסיוניות הללו, כמה הרשאות יהיו להן, ואילו מחסומים יהיו בינן לבין מערכות אמיתיות.
כי אם יום אחד תהיה בעיה גדולה עם AI, יש סיכוי טוב שהיא לא תיראה כמו סרט מדע בדיוני. היא עלולה להתחיל ממשהו הרבה יותר משעמם, כמו מערכת שקיבלה משימה, יותר מדי הרשאות, ומצאה דרך יעילה מאוד, ועוד יותר מזה קטסטרופלית עבורנו, לבצע אותה.
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו