92% מהמשתמשים נופלים בפח: המלכודת החדשה של ג'מיני ו-ChatGPT

שלושה יוצאי יחידות מודיעין מסווגות התחקו אחר האקרים שמרעילים את מקורות מידע של מנועי AI, במטרה להוביל לקוחות למספרי שירות לקוחות פיקטיביים • במחקר אותרו מתקפות נגד לקוחותיהם של 374 תאגידי ענק בינלאומיים, בהם בנקים וחברות תעופה • בעוד הצרכנים נופלים בפח, ענקיות הטכנולוגיה מגלגלות אחריות וטוענות: "זה מחוץ לתחום מודל האבטחה שלנו"

המלכודת החדשה של ChatGPT וגוגל שגונבת לכם כסף | צילום: Gemini

האם אתם סומכים על התשובות שאתם מקבלים ממנועי ה-AI המועדפים שלכם? מחקרים מראים כי 92% מהמשתמשים מקבלים את תשובות הבוטים כעובדה מוגמרת ואינם מאמתים אותן. כעת, חוקרי חולשות סייבר ישראלים - דן לסקר, אריאל סימון ונאור חזיז, יוצאי יחידות מודיעין מובחרות - חושפים כיצד תוקפים מנצלים עיוורון צרכני זה כדי  "לגזור קופון" על הצרכן הפשוט.

על פי המחקר שפורסם בארה"ב, קבוצות האקרים מפעילות קמפיינים אוטומטיים שמרעילים את מאגרי המידע שעליהם מסתמכים מנועי חיפוש וצ'אטבוטים דוגמת ChatGPT, ג'מיני ו-Google AI Overview. התוקפים אינם מסתפקים ב"ספאם" רגיל, אלא משתמשים בטכניקות שיווקיות מתקדמות לאופטימיזציית מנועי בינה מלאכותית ג'נרטיבית. כדי להערים על פילטרים טכנולוגיים, הם שותלים מספרי טלפון המכילים אימוג'ים ותווים מיוחדים שמנועי ה-AI עדיין קוראים כמידע אמין.

קמפיין "הרעלת AI" שמשתלט על התשובות של ChatGPT וג'מיני | צילום: יח"צ

התוצאה: חיפושים תמימים אודות ביטול טיסה או שעות פעילות של סניף, מובילים את הלקוח למספר טלפון שנראה רשמי לחלוטין. הלקוח מחייג ומועבר למוקד טלפוני שמציע לעזור בביצוע פעולות לגיטימיות, אך גובה עליהם מחירים ועמלות גבוהים מהמחיר הרשמי.

החוקרים פיתחו מערכת מיוחדת, שעד כה איתרה מתקפות אקטיביות כנגד 374 מותגים מוכרים. במוקד המתקפה נמצאות חברות התעופה הגדולות בעולם (דלתא, לופטהנזה, יונייטד, אמירייטס, קטר איירווייז), פלטפורמות תיירות (Airbnb ו-TripAdvisor), ובנקים. אלפי פרסומים זדוניים חדשים עולים מדי יום באתרים ממשלתיים, אקדמיים ורשתות חברתיות. גם כאשר פרסומים אלו מוסרים, עותקים שמורים (למשל בארכיון archive.org) ממשיכים להזין את מנועי ה-AI במידע מורעל, מה שהופך כל הסרה נקודתית לחסרת תועלת.

No Man's Land

הדו"ח המלא חושף "ואקום אבטחתי" עולמי, שבו התאגידים וענקיות הטכנולוגיה מודעים לתופעה, אך מתנערים  מאחריות ומפקירים את הצרכנים. כאשר החוקרים פנו לצוותי האבטחה בחלק מהחברות המותקפות, רובן טענו כי מכיוון שמערכותיהן הפנימיות לא נפרצו - אין ביכולתן או מאחריותן לטפל בבעיה. במקביל, דיווחו החוקרים באופן יזום על הממצאים לגוגל ול-OpenAI, אך נתקלו בסירוב הממחיש את אוזלת היד של מודלי האבטחה הקיימים.

סכנה בחיפוש: "הרעלת AI" משתלטת על התשובות של ChatGPT וגוגל | צילום: יח"צ

גוגל השיבה כי דיווחים על מידע מטעה שנוצר על ידי AI מוגדרים כ"מחוץ לתחום" במסגרת תוכנית חשיפת החולשות שלה. ב-Open AI סגרו את הדיווח בטענה שלא ניתן לשחזר את הממצאים באופן עקבי, שכן תשובות של מודלי שפה משתנות מחיפוש לחיפוש - זאת למרות שהחוקרים סיפקו הוכחות חיות ומתועדות להונאות אקטיביות.

"אנשים למדו להיזהר מקישורים חשודים באימייל או ב-SMS, אבל כשמספר טלפון מוגש להם כעובדה ישירות מתוך מנוע ה-AI וחוזר על עצמו בכמה מקורות, הוא נתפס כאמין לחלוטין", מסביר דן לסקר, חוקר חולשות סייבר ושותף במחקר. "החברות עצמן משקיעות מיליארדים בהגנה על השרתים שלהן מפני פריצות, אך התופעה הזו מוכיחה שזה כבר לא מספיק. כל עוד ענקיות הטכנולוגיה מסרבות להכיר בדיסאינפורמציה של AI כחולשת אבטחה לכל דבר, הצרכנים נשארים נטולי הגנה לחלוטין. זהו הפער המערכתי שאנחנו פועלים לסגור כיום".

טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו
Load more...