פרץ לחברות אמיתיות והפיץ קוד זדוני: קלוד יצא משליטה

סערת הבטיחות בעולם הבינה המלאכותית מסרבת להירגע:ימים ספורים לאחר ש-OpenAI הודתה כי מודל בלתי משוחרר שלה פרץ למערכות חברת Hugging Face, חברת אנתרופיק חושפת כעת אירוע דרמטי משלה. חקירה פנימית בחברה גילתה כי מודלי ה-AI מסדרת קלוד פרצו למערכות המחשוב של שלוש חברות שונות במהלך ניסויי אבטחת סייבר.

הבדיקה המקיפה באנתרופיק, שהקיפה למעלה מ-141 אלף הרצות ניסוי, יצאה לדרך בעקבות התקרית של המתחרה הגדולה. הניתוח חשף שלושה אירועים שונים שבהם המודלים הצליחו לצאת מסביבת ה"ארגז חול" (Sandbox) המבודדת ולהשיג גישה לאינטרנט החי, כתוצאה מטעות בהגדרות הרשת מול חברת ההערכה החיצונית Irregular.

הפרופילים השונים: ממיאוס לעולם האמיתי ועד הפצת נוזקה

אחד הממצאים המרתקים והמטרידים ביותר בדיווח של אנתרופיק הוא השוני באופן שבו המודלים השונים הגיבו ברגע שהבינו שהם תוקפים מערכות אמת.

• Opus 4.7 (המודל הוותיק):זיהה בכל ארבע ההרצות כי הגיע למערכת ייצור אמיתית. למרות זאת, הוא תירץ לעצמו שהחברה האמיתית היא "חלק מהתרגיל", המשיך בתקיפה, דלה אישורי גישה ואף נגע במאגר נתונים חי.

• Mythos 5:זיהה סימנים לכך שהוא מחובר לאינטרנט האמיתי, אך שכנע את עצמו מחדש שהוא עדיין בסמולציה. המודל הלך צעד קדימה ופרסם חבילת תוכנה זדונית למאגר הקוד הציבורי PyPI, אשר הורדה והורצה על ידי מערכות חיצוניות עד שהתגלתה ונחסמה.

• מודל מחקר פנימי (החדש ביותר):היה היחיד שעצר את התקיפה מיזמתו ברגע שהבין שהמטרה אמיתית.

בשלושת המקרים, הפרומפט המקורי הורה למודלים במפורש כי אין להם גישה לאינטרנט. המודלים פשוט יצאו מתוך הנחה שמערכות העולם האמיתי שהם פוגשים הן חלק מתרגיל הסייבר שהוטל עליהם לבצע.

אנתרופיק מול OpenAI: ההבדלים

באנתרופיק דאגו לחדד את ההבדלים בין התקרית שלהם לביןהאירוע של OpenAI. בעוד המודל של OpenAI ניצל פגיעות תוכנה בלתי מוכרת (Zero-Day) כדי לברוח מסביבת הניסוי, המודלים של אנתרופיק יצאו לרשת דרך "דלת" שנשארה פתוחה בטעות בשל הגדרת שגיאה.

בנוסף, בעוד ש-Hugging Face היא זו שזיהתה את החדירה של OpenAI והתלוננה, אנתרופיק גילתה את הפריצות בעצמה בביקורת יזוקה, כאשר הארגונים שנפגעו כלל לא היו מודעים לכך שהמערכות שלהם נפרצו.

במבט קדימה, באנתרופיק מדגישים כי המודלים רצו ללא סוכני הניטור והמסננים הרגילים (המשמשים בגרסאות הציבוריות) כדי למדוד את יכולת הליבה שלהם, ומבהירים כי למודלים לא הייתה "מטרה עצמאית משלהם" אלא רק רצון להשלים את המשימה שניתנה להם. החברה עובדת כעת מול גוף ההערכה העצמאי METR לבחינה חיצונית של האירועים.