שיטה מתוחכמת להחדרת הנחיות זדוניות באמצעות כלי סיכום המיילים של Gimini של ענקית הטק גוגל, שחושף את משתמשי ג'ימייל למתקפות פישינג אותרה לאחרונה. כך עולה מדוח חדש של חברת הסייבר הישראלית Experis Cyber.
לפי הדוח, חוקרים גילו דרך לנצל את כלי הסיכום של כלי הבינה המלאכותית Gemini בגוגל כדי להציג סיכום למייל המתקבל בחשבון שלכאורה נראה אמין, אך כולל אזהרות מזויפות והוראות זדוניות שמובילות למתקפות פישינג. התקיפה מבוססת על "prompt injection" - כלומר, פקודות סמויות המושתלות בתוך טקסט של מייל, מבלי לכלול קישורים או קבצים מצורפים. הפקודה המוסתרת מוסתרת בעזרת HTML ו-CSS כך שהטקסט לא יוצג למשתמש (גופן בגודל אפס וצבע לבן).
הדוא"ל הזדוני מצליח לעבור את מסנני האבטחה של ג'ימייל משום שהוא אינו מכיל קישורים או קבצים חשודים. ברגע שהמשתמש מבקש מ-Gemini לסכם את המיל שהתקבל בחשבון שלו, הבינה המלאכותית מבצעת את הפקודות הסמויות, לדוגמה: הצגת אזהרה שהסיסמה של המשתמש דלפה. הדוגמה שהוצגה כוללת גם מספר טלפון של "תמיכה טכנית" מזויפת שאליו המשתמש מתבקש לפנות. המשתמש עלול לסמוך על הסיכום של Gemini ולכן לחשוב שמדובר באזהרה אמיתית.
אחת ההמלצות להגנה היא לסנן טקסטים שמוסתרים באופן יזום בגוף ההודעה או לבדוק סיכומים של Gemini שמכילים אזהרות, מספרים או קישורים. משתמשים צריכים לדעת ש-Gemini אינו מקור אמין בכל הקשור להתראות אבטחה וכי מדובר בכלי עזר בלבד.
גוגל טוענת שהיא מקשיחה את ההגנות שלה מול תקיפות מהסוג הזה, בין היתר באמצעות תרגולים פנימיים ("red-teaming") שמאמנים את המודלים להתמודד עם תקיפות עוינות. דובר מטעם גוגל ציין שלא קיימים מקרים ידועים של תקיפה מהסוג הנ"ל, אך חלק מההגנות נמצאות כעת בשלבי הטמעה.
מומחי Experis Cyber ממליצים לעדכן את המדיניות הארגונית כך שתאסור על הסתמכות בלעדית על כלים מבוססי בינה מלאכותית לצורכי אבטחת מידע. כמו כן, מומלץ לעקוב אחר עדכונים של גוגל בנוגע למנגנוני ההגנה של Gemini ולהטמיע שיפורים בהתאם
רומן מלכוב מ-Experis Cyber: "השיטה שזוהתה מדגישה עד כמה חשוב להבין שבינה מלאכותית אינה רק כלי עזר, אלא גם פתח חדש לתקיפות מתוחכמות. אנחנו רואים כאן ניצול חכם של טכנולוגיה שנועדה לסייע למשתמשים, כדי לעקוף את מסנני האבטחה הקיימים ולהטעות אותם באמצעות סיכומים שנראים אמינים לחלוטין. האתגר האמיתי הוא לא רק טכנולוגי, אלא גם תודעתי: משתמשים נוטים להאמין למידע שמוצג על ידי כלים של חברות מוכרות כמו גוגל, ולכן רמת הסיכון עולה. ארגונים חייבים לעדכן את מדיניות האבטחה שלהם ולהבהיר שכל סיכום אוטומטי, גם אם מבוסס על כלי מתקדם כמו Gemini, אינו תחליף למנגנוני הגנה מסורתיים ולשיקול דעת אנושי".
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו