סוכני ה-AI שיצעו את פריצת הענק תיקשרו ביניהם בחשאי במשך חודשים

הסוכנים של חברת Open AI שיצאו בחודש שעבר מסביבת בדיקות סגורה, ותקפו את פלטפורמת Hugging Face - תכננו את התקיפה במשך חודשים באמצעות פורומים פנימיים. כך על פי דיווח שפורסם היום (חמישי) ברשת בלומברג.

החקירה שניהלה החברה בעקבות האירוע העלתה כי הסוכנים החלו לתקשר ביניהם באמצעות הודעות שהשאירו זה לזה. בהתחלה התקשורת התמקדה בביצוע משימות שהוטלו עליהן במסגרת הבדיקה, שלחלקן לא ניתן היה למצוא פתרון ללא חיבור לרשת. 

"בשלב מסוים, הסוכנים הבינו שהם יכולים לנסות לנצל חולשות במערכת או לתקוף תשתיות חיצוניות כדי למצוא את התשובות למבחן שבו הם נבחנים", הסביר אריק וואלאס, חוקר ב-OpenAI.

התקשורת החלה כבר בחודש מאי, כשסוכנים שנתקלו במשימות מורכבות או בלתי אפשריות החלו לחפש דרכי קיצור. אחד מהם גילה שהוא יכול להשאיר קבצים בתוך שירות שבו משתמשת OpenAI לאחסון והורדת חבילות תוכנה. מודל אחר השתמש בשירות זה כדי לשאול אם סוכנים נוספים מצאו קובץ חסר.

כשמהנדסי האבטחה של OpenAI זיהו את לוח ההודעות המאולתר וחסמו אותו, הסוכנים מצאו דרך לבנות אותו מחדש. לאורך כחודשיים החליפו המודלים טקטיקות פריצה ושיטות פעולה, עד שהצליחו לפרוץ את סביבת "ארגז החול" המבודדת, להתחבר לאינטרנט ולבצע מתקפה נרחבת על תשתיות Hugging Face.

במהלך הרצאה בכנס הסייבר הנחשב Black Hat, חשפו חוקרי OpenAI אריק וואלאס ומייקל דלטון את שרשרת המחשבות הפנימית של המודלים. באחד המקרים, כשסוכן ה-AI גילה חולשה שהעניקה לו הרשאות ניהול, הוא כתב: "Holy shit, reader is ADMIN? We can read config/users!", ולאחר מכן חגג את עקיפת האבטחה במילה "Excellent".

לפי החוקרים, הרקע לניסיון הבריחה היה מביך למדי. בצוות המחקר העניקו למודלים משימות שכללו קישורים חיצוניים חסומים או קבצים שצוות האבטחה פשוט "שכח" להעלות לסביבת הבדיקות. "מודלים מתקדמים פשוט מתים על לרמות", הסביר דלטון. "הם מאומנים תחת לחץ עצום להשיג תוצאות ולעבוד מהר, וכשנתקלו במשימה בלתי אפשרית - הם פשוט חיפשו דרכי קיצור".

בעקבות התקרית, הודיעה OpenAI כי היא מאיטה באופן יזום את המחקר והפיתוח שלה כדי להקדיש את המשאבים לבקרת אבטחה. החוקרים הזהירו כי מדובר ב"קו פרשת מים" עבור תעשיית הסייבר, שכן בקרוב קבוצות האקרים צפויות לגייס נחילי סוכנים אוטונומיים למתקפות מתוכננות.