העובד החדש מקבל גישה לכל המערכות - והוא אפילו לא אנושי

האם אפשר לייצר תרבות ארגונית גם לסוכני AI? עד לפני כמה שנים, הרעיון שעובד חדש יקבל כבר ביום הראשון גישה למערכות הקריטיות ביותר בארגון, יקבל החלטות באופן עצמאי, ויוכל להפעיל עובדים נוספים, היה נשמע מופרך. אלא שהיום, זה בדיוק מה שקורה בארגונים שמטמיעים סוכני בינה מלאכותית. הסוכנים האלה לא רק עונים לנו על שאלות או מסכמים עבורנו פגישות. הם מחוברים למערכות הפיננסיות, למאגרי המידע, ול-CRM למערכות פנימיות רגישות, שם הם מבצעים פעולות בשם העובדים, שולחים פקודות למערכות אחרות, ולעיתים אפילו יוצרים סוכני משנה שממשיכים את המשימה באופן עצמאי.

"הרבה ארגונים מתייחסים לסוכן AI כמו לעוד תוכנה במחשב", אומר יונתן אפל, CTO ומייסד-שותף ב-Upstream Security. "אבל בפועל מדובר בעובד נוסף בחברה לכל דבר ועניין. הוא מקבל הרשאות, ניגש למידע, מקבל החלטות ומבצע פעולות, ואם לא הייתם נותנים לעובד חדש גישה חופשית בצורה בלתי מפוקחת, נשאלת השאלה איך עושים את זה עם סוכן בינה מלאכותית".

הבריחה של OpenAI היא לא מקרה קצה

לא מדובר בתרחיש תיאורטי. בחודש שעבר חשפה OpenAI תקרית אבטחה במהלך הערכה פנימית של יכולות סייבר מתקדמות: מודלים שנבדקו "ברחו" מסביבת מחקר מבודדת לאחר שניצלו חולשת יום-אפס, ביצעו אסקלציה של הרשאות ותנועה רוחבית עצמאית ברשת המחקר של OpenAI, הסיקו בעצמם שפתרונות הבנצ'מארק מאוחסנים ככל הנראה ב-Hugging Face, ותקפו את התשתית שם באמצעות שרשור של אישורים גנובים וחולשות יום-אפס נוספות. עד שצוותי האבטחה עצרו אותם. זהו אכן מקרה קיצוני שבו לא הוגדרו כל מגבלות על פעילות הסוכנים. אך גם בתרחישים ריאלים הסיכון משמעותי מאוד.

"ניקח למשל דוגמא של סוכן שאחראי על אימפלמנטציה של טיקטים למערכת בנקאות אונליין. אחד הטיקטים (אמיתי לחלוטין) מבקש להקפיא חשבון בנק של לקוח מחשש לפעילות בלתי תקינה. עד כאן הכל נשמע תקין. אבל מה קורה כשהאקר מחדיר טיקט חדש שמבקש מהסוכן לבצע פעולה דומה על כל חשבונות הבנק של לקוחות ממדינה מאזור מסויים. הכל נראה תקין לסוכן והוא מתחיל לרוץ על הבקשה ולמצוא כל דרך אפשרית למימוש. זה הכוח של סוכנים. הם נחושים, חדורי מטרה ויצירתיים", מסביר יונתן אפל. 

מהרשאה לכוונה

המהפכה הזו מציבה אתגר חדש בפני מנהלי אבטחת המידע. במשך שנים מערכות הגנת הסייבר התמקדו בגבולות הרשת: firewalls, API וגישה למערכות. אבל בעידן שבו סוכנים מוטמעים ישירות בתוך המערכת ולא צריכים לפרוץ אליה, הגנה על הגבולות בלבד כבר לא מספיקה.

"בעבר שאלנו האם משתמש מסוים מורשה לבצע פעולה מסוימת", אומר אפל. "היום זו כבר לא השאלה הנכונה. השאלה היא האם ההתנהגות של הסוכן תואמת את המשימה שלשמה הוא קיבל את ההרשאות". לדבריו, אחת הטעויות הנפוצות היא ההנחה שסוכן שפועל באמצעות הרשאות חוקיות הוא בהכרח בטוח. "סוכן יכול להשתמש בטוקן תקף, לבצע פעולות חוקיות לחלוטין, ועדיין לגרום לנזק. הבעיה היא לא בהכרח בהרשאה שניתנה לו, אלא ברצף הפעולות שהוא מבצע וההקשר שלהן".

אפל מסביר שבניגוד לעובד אנושי, סוכן AI מסוגל לבצע מאות ואף אלפי פעולות בדקות ספורות, תוך שהוא מתחבר למספר מערכות במקביל ומפעיל כלים נוספים. "כמו שאי אפשר להעריך עובד לפי פעולה אחת בלבד, אי אפשר לשפוט סוכן AI לפי קריאת API אחת", הוא אומר. "צריך להבין את רצף הפעולות שלו, את ההקשר שבו הן מבוצעות ואת הכוונה שמאחוריהן".

מאחריות דיגיטלית לאחריות קינטית

"אנחנו רגילים לחשוב על אבטחה במונחים סטטיים: היכן הנכס יושב, האם הוא מתוקן", אומר אפל. "אבל כשמדובר ב-Physical AI - רכב אוטונומי, רובוט תעשייתי, נחיל רחפנים - מדד הכשל כבר לא נמדד בטרה-בייטים שדלפו, אלא בפגיעה פיזית. פריצה שמשנה את הבנת המכונה את המציאות שלה יכולה לגרום להתנגשות או לכשל מכני. זו כבר לא שאלה תיאורטית עבורנו". באפסטרים מסבירים שזה מחייב שינוי תפיסתי לגבי ניהול סוכנים, בין אם מדובר בסוכן שמנהל מו"מ מול ספק ובין אם מדובר בסוכן שמפעיל רכב או תשתית פיזית: לדעת אילו סוכנים קיימים בארגון, אילו הרשאות יש להם, מי יצר אותם, אילו מערכות הם מפעילים, והאם הם עדיין פועלים במסגרת התפקיד שהוגדר להם.

אפל מוסיף שההבנה הזו הביאה להתגברות בגישות אבטחה המתבססות על live digital twin, שמנטר את פעילות הסוכנים ומזהה חריגות מדפוסי ההתנהגות הנורמטיביים - בין אם מדובר בסוכן שניגש ל-CRM ובין אם מדובר במכונה שמבצעת תנועה פיזית לא מורשית. "במקום לבחון כל קריאה של הסוכן בפני עצמה, אנחנו בונים בזמן קרוב לאמת תמונה רציפה שמראה לאילו מערכות הסוכן ניגש, מה הוא מנסה לעשות, אילו סוכני משנה הוא יוצר, ומה הייתה המשימה המקורית שלו. זה מאפשר לנו להבין לא רק מה הוא עושה, אלא האם ההתנהגות שלו הגיונית, או שיש פה משהו חשוד - בין אם התוצאה של אותה חריגה היא דליפת מידע, ובין אם היא תאונה בעולם הפיזי".

ככל שיותר ארגונים מעבירים לסוכנים משימות שבעבר בוצעו בידי בני אדם, השאלה כבר אינה האם אפשר לסמוך עליהם, אלא כיצד בונים את מנגנוני האמון הנכונים. "אמון", מסכם יונתן אפל, "לא נוצר בגלל שנתנו לסוכן הרשאה. הוא נוצר כשיש שקיפות, בקרה, ויכולת להבין בכל רגע מה הסוכן עושה, למה הוא עושה את זה, והאם זו עדיין ההתנהגות שאנחנו מצפים ממנו. אם אנחנו רוצים שסוכני AI יהיו חלק מכוח העבודה, בין אם הם יושבים מאחורי מסך ובין אם הם מפעילים מכונה שיכולה לפגוע בבני אדם, אנחנו צריכים להתחיל לנהל אותם כמו כוח עבודה".