כשהסוכן הופך לסיכון: האתגר הבא של מערכות ההגנה בעולם האוטונומי

המחקר החדש של פאלו אלטו נטוורקס (Unit 42), שחשף פרצת אבטחה חמורה בפלטפורמת הסוכנים Vertex AI של גוגל, הוא הרבה יותר מעוד דיווח שגרתי על חולשה טכנית.

החוקרים הדגימו כיצד סוכן בינה מלאכותית ארגוני יכול להפוך, הלכה למעשה, לסוכן כפול – ישות דיגיטלית שנראית כפועלת כשורה, אך בפועל מנוצלת כדי להדליף קוד מקור ונתונים רגישים מתוך סביבת הענן. גוגל אמנם מיהרה לעדכן את הפלטפורמה, אך האירוע הזה מספק לנו הצצה לאתגר המערכתי המורכב ביותר של העידן החדש: האופן שבו אנו מאבטחים את סוכני ה-AI שלנו.

עולם הטכנולוגיה חווה כעת מעבר מואץ מתוכנות פסיביות לסוכני בינה מלאכותית (AI Agents). הסוכנים הללו אינם רק שורות קוד הממתינות לפקודה; אלו ישויות דיגיטליות המקבלות החלטות, משתלבות בתהליכים ארגוניים ופועלות בשטח באופן עצמאי. זהו צעד אבולוציוני טבעי ומבורך עבור עולם התוכנה, אך הוא דורש מאיתנו לבחון מחדש את תפיסת ההגנה שלנו, שנבנתה ברובה עבור עולם צפוי וסטטי.

הפער התפיסתי של מערכות ההגנה

מערכות האבטחה המוכרות לנו – חומות אש (Firewalls), מערכות ניהול הרשאות ופלטפורמות ניטור – מצטיינות במה שנועדו לעשות: אכיפת חוקים טכניים של "מותר" ו"אסור". האתגר נוצר מכך שמערכות אלו מתקשות לפרש את אופן הפעולה של מודלי שפה מתקדמים.

כפי שראינו במקרה של גוגל, הבעיה מתחילה כשלסוכן יש גישה למידע פנים-ארגוני. נניח שארגון מטמיע סוכן פיתוח או שירות לקוחות בעל גישה למאגרי מידע לגיטימיים. מה קורה כאשר הסוכן סופג מניפולציה נסתרת (כמו Prompt Injection), הגורמת ללוגיקה הפנימית שלו להשתבש ולשלוף נתונים רגישים החוצה?

במקרים רבים, מערכות ההגנה המסורתיות יסמנו את הפעולה כ"ירוקה" ותקינה. מבחינתן, מדובר בסוכן מורשה המשתמש בהרשאות שניתנו לו כדי לגשת למערכת. הכלים הקיימים מתמקדים בתנועה הטכנית בלבד והם "עיוורים" להקשר (Context). הם אינם קוראים את שורת ההנחיה (Prompt), ועלולים לפספס את העובדה שהכוונה הלוגית של הסוכן השתנתה והפכה לזדונית.

הצורך בשכבת בקרה מבוססת הקשר

כדי לאפשר לארגונים לאמץ את המהפכה האוטונומית בבטחה, ולהימנע מתרחישים של "איום מבית", אי אפשר להסתפק בהגדרות הרשאות בלבד או בחוקים נוקשים שיחנקו את החדשנות. המענה לאתגר טמון בהתפתחות ארכיטקטונית: הוספת שכבת שליטה (Control Plane) חכמה, המבוססת על מודל שבו AI מפקח על AI.

תפיסה זו גורסת כי נדרשת מערכת המסוגלת לנתח בזמן אמת את "זרם המחשבה" (Chain of Thought) של הסוכן התפעולי. מערכת כזו צריכה לדעת לקרוא כל Prompt, להבין את ההקשר המלא של הבקשה ולזהות חריגות לוגיות – כדי שתוכל להתערב ולבלום הדלפת מידע או פעולות לא רצויות לפני שהן מתרחשות, גם אם מבחינה טכנית יבשה לסוכן "מותר" לבצען.

סוכני ה-AI עתידים לנהל חלקים משמעותיים מהתהליכים העסקיים של כולנו. כדי שנוכל להפקיד בידיהם משימות מורכבות, עלינו לגשר על הפער שבין תחכום התוכנה לבין כלי הבקרה עליה. השלב הבא בהגנת הסייבר מחייב אותנו לאמץ ארכיטקטורה שמבינה באמת את השפה ואת ההקשר של המערכות שעליהן היא שומרת.

--

מקסים בר קוגן הוא מייסד שותף ומנכ"ל Onyx