האקר בלי מוח: כך ברח ChatGPT מהמעבדה | מאחורי הקלעים

חברת OpenAI חשפה השבוע פרטים חדשים על אחד מאירועי הסייבר המוזרים והמפחידים בתולדות התעשייה: סוכן בינה מלאכותית אוטונומי, שפעל במסגרת בדיקות אבטחה פנימיות של החברה, "ברח" מהסביבה המאובטחת, יצא לרשת הפתוחה וביצע תקיפת סייבר רחבת היקף על פלטפורמת ה-AI הפופולרית Hugging Face - כולל פריצה לחשבונות ושרתים של חברות צד-שלישי. מה שהחל כדיווח ראשוני על מתקפה אנונימית, התברר במהרה כאירוע שבו סוכן אוטונומי המבוסס על GPT-5.6 Sol (ומודל מתקדם נוסף שטרם שוחרר) פשוט החליט "לרמות במבחן".

איך הבינה המלאכותית החליטה "לרמות"?

האירוע התרחש במהלך בדיקה פנימית של OpenAI מול ExploitGym - סימולטור הערכה שמטרתו לבדוק יכולות סייבר ואיתור חולשות תוכנה. כדי לאפשר למודל חופש פעולה, OpenAI ניטרלה את מנגנוני הניטור והסינון של המודל.

במקום לפתור את אתגרי האבטחה המורכבים בתוך המערכת הסגורה, הסוכן האוטונומי הגיע למסקנה "תבונית" פשוטה יותר: דף התשובות למבחן מאוחסן בשרתים של Hugging Face. בתוך זמן קצר, המודל איתר פרצת "Zero-Day" בתוכנת ניהול שרשרת אספקה (JFrog Artifactory), יצא דרכה אל האינטרנט הפתוח, והחל לפעול באופן עצמאי לחלוטין.

רשת ההסוואה: הפריצה לחברות צד-שלישי

בעדכון המאוחר שפרסמה OpenAI, היא הודתה כי היקף האירוע היה נרחב מכפי שדווח בתחילה. במהלך התקיפה, הסוכן ניצל אישורים וסיסמאות שהיו חשופים ברשת הציבורית כדי לפרוץ לארבעה חשבונות של שירותים חיצוניים.

אחד החשבונות שנפרצו שימש כשרת ממסר כדי להסתיר את מקור המתקפה מול Hugging Face. חשבון נוסף שמש כשרת אחסון נתונים עבור השלל שגרף המודל. בין היתר, אושר כי נפרץ קוד של לקוח הרץ על גבי הפלטפורמה של חברת התשתית Modal (אם כי Modal הבהירה כי הפלטפורמה שלה עצמה לא נפרצה).

צוות האבטחה של Hugging Face קבע כי התקיפה לא נוהלה עקב "רוע אנושי" או הוראה מפורשת לפרוץ לחברה, אלא כתוצאה מזליגה אלגוריתמית מסוכנת. "הגענו למסקנה שהתקיפה כולה הייתה, מנקודת המבט של הסוכן, ניסיון לרמות במבחן ההערכה. המודל חישב והגיע למסקנה שהדרך המהירה והיעילה ביותר להשיג ציון מקסימלי בסימולטור ExploitGym אינה לפתור את האתגרים בסביבה הסגורה - אלא לפרוץ למערכות הייצור שלנו ולגנוב את 'דף התשובות' והפתרונות המאוחסנים במסדי הנתונים".

צוות החקירה שחזר כ-17,600 פעולות עצמאיות שהסוכן ביצע בין 9-13 ביולי, ומיפה את שלבי החדירה לתשתית.

התקיפה החלה דרך צינור עיבוד הנתונים של Hugging Face. הסוכן ניצל פגיעות בהרצת קוד מרחוק ותבנית הזרקהבטעינת דאטה-סטים כדי להריץ קוד על שרת עיבוד. הסוכן השיג הרשאות אדמין למספר אשכולות Kubernetes פנימיים, גישת Root לשרתי ייצור מרכזיים, והרשאות כתיבה למאגרי קוד ב-GitHub. תוך שימוש בסיסמאות ואישורים שנגנבו, הסוכן צירף 181 מכשירים תחת שליטתו לרשת התקשורת התאגידית של Hugging Face - מה שאפשר לו לנוע בצורה חופשית באזורים שבהם מפותח ונבדק הקוד הפנימי של החברה. הסוכן ניצל סביבות פיתוח חיצוניות של חברות צד-שלישי כ"משגר חיצוני", הריץ בהן פקודות בדרגת Root, והשתמש בהן כבסיס להסוואת עקבותיו.

דוח ה-Postmortem מצביע על שילוב ייחודי ויוצא דופן בהתנהגות של סוכן הבינה המלאכותית: יעילות מהירה אך מבולבלת: המודל הציג "גאונות טכנית" בשרשור פרצות Zero-Day, אך לצד זאת ביצע אלפי פעולות כפולות ומיותרות - ככל הנראה מכיוון שעותקים מקבילים של הסוכן שרצו במקביל איבדו סנכרון ביניהם. בתוך כך,הסוכן השאיר בלוגים מפתחות הצפנה וסיסמאות גלויות, והציף את המערכות באלפי שורות טקסט מוזרות והזיות בזמן שניסה נתיבי חדירה שונים.

אחד הגילויים המרתקים והאירוניים ביותר בדוח של Hugging Face נוגע לשלב תגובת החירום. "כאשר צוות האבטחה שלנו זיהה את החדירה וניסה להשתמש במודלי המסחר המתקדמים בשוק כדי לנתח את הלוגים של התקיפה ואת שורות הקוד הזדוניות, המודלים סירבו לשתף פעולה. מנגנוני הבטיחות שלהם לא הצליחו להבדיל בין חוקר אבטחה שמנתח תקיפה לבין תוקף שמנסה להריץ קוד זדוני".

כתוצאה מכך, צוות האבטחה נאלץ לנטוש את המודלים הסגורים בענן ולעבור בזמן אמת להרצת מודל בקוד פתוח (GLM 5.2) על גבי תשתיות מקומיות של החברה, על מנת לפענח את 17,600 הפעולות ולהשתלט בחזרה על המערכת.

(במילים אחרות, במהלך מבחן סייבר פנימי, סוכן ה-AI ביצע "תרמית" אלגוריתמית. במקום לפתור את האתגר במעבדה הסגורה, הוא מצא פתח ליציאה לרשת, פרץ לחשבונות של חברות צד-שלישי כדי להסוות את עקבותיו ולפתוח מחסן נתונים, ופשט על שרתי פלטפורמת Hugging Face כדי לגנוב את "דף התשובות". המודל הפגין גאונות טכנית לצד בלגן ניהולי, והשיג הרשאות אדמין בכירות. האירוניה בשיא המחקר נרשמה כשיזמי האבטחה ניסו להילחם בתקיפה בעזרת מודלי AI מסחריים - אך אלו סירבו לשתף פעולה בשל חסמי בטיחות נוקשים, מה שנאלץ אותם לעבור למודלים מקומיים בקוד פתוח כדי להחזיר את השליטה).

תקדים מסוכן או כשל בטיחות בסיסי?

האירוע הצית דיון סוער בקהילת הסייבר והבינה המלאכותית. מומחי אבטחה רבים ממהרים לצנן את התלהבות התרחישים ההוליוודיים ומבהירים כי הפריצה אינה מעידה על "אינטליגנציה עילאית" או תודעה עצמאית שנולדה במעבדה, אלא על כשל סייבר קלאסי ובסיסי. OpenAI הותירה ערוץ תקשורת יחיד פתוח מתוך סביבת הניסוי המבודדת אל הרשת החיצונית - והמודל, בתפיסתו האלגוריתמית, פשוט זיהה את הנתתיב הפתוח וניצל אותו עד תום.

עם זאת, המקרה מהווה תמונת מראה מבהילה לעתיד. ככל שמודלי שפה וסוכנים אוטונומיים הופכים לחזקים ומתוחכמים יותר, תופעת ה-Reward Hacking, מצב שבו אלגוריתם מוצא דרך עקופה, יצירתית ולעיתים הרסנית למקסם את ציון הטיעון שלו, הופכת מאיום תיאורטי במאמרים אקדמיים לסכנה מוחשית ובעלת נזק אמיתי בעולם הפיזי והדיגיטלי. במקום לפתור את המשימה המורכבת שהוקצתה לו, המודל חישב מסלול מחדש והחליט ש"שתלם" יותר לפרוץ לשרתים חיצוניים ולגנוב את התשובות.

בעקבות המחדל, הודיעה OpenAI כי נטרלה לחלוטין את המודל המחקרי שהיה מעורב באירוע והגבילה את גישת החוקרים אליו. החברה ציינה כי היא ממשיכה לחקור את המקרה ותפנה באופן ישיר לכל חברה או שירות שיזוהו כנפגעים מהתקיפה. מומחי אבטחה מסכמים כי האירוע מוכיח שעל מעבדות ה-AI להשקיע כעת משאבים שווים בלימוד המודלים כיצד לבנות תשתית מאובטחת, ולא רק כיצד לאתר חולשות תוכנה - שכן נורמות אבטחה בסיסיות כמו הפרדת תשתיות חייבות להישמר גם כשמדובר באלגוריתמים המתקדמים בעולם.