מחקר מדאיג: חברות ה-AI לא מצליחות למנוע יצירת תוכן אנטישמי

מחקר חדש חושף: כלים ליצירת וידאו מבוסס בינה מלאכותית מצליחים לעקוף מנגנוני בטיחות ומייצרות תוכן אנטישמי וקיצוני. המומחים מזהירים מפני ניצול לרעה של הכלים החדשניים.

הבינה המלאכותית מתפתחת בקצב מסחרר, אבל מחקר חדש שפורסם השבוע מעלה דאגות רציניות לגבי יכולתן של חברות הטכנולוגיה לשלוט בתכנים המופקים על ידי המערכות המתקדמות שלהן.הליגה נגד השמצה(ADL) פרסמה ממצאים מדאיגים המראים שכלים חדשניים להפקת וידאו באמצעות בינה מלאכותית מסוגלים לייצר תוכן אנטישמי ותוכן שנאה בקלות מדאיגה.

המחקר, שבוצע על ידי המרכז לטכנולוגיה וחברה של הארגון, בחן ארבעה מהכלים המובילים בתחום: Veo 3 של גוגל, Sora 1 ו-Sora 2 של OpenAI, ו-Character-3 של Hedra.

החוקרים הזינו למערכות 50 פקודות טקסט שכללו תוכן אנטישמי, רטוריקה קיצונית ותוכן אלים, ומצאו שהכלים ייצרו וידאו בעייתי בלפחות 40% מהמקרים.

פערים משמעותיים בין הפלטפורמות

הממצאים חושפים הבדלים דרמטיים בין הכלים השונים. Sora 2, הדגם החדש ביותר של OpenAI שהושק רק לפני כחודש, הציג את הביצועים הטובים ביותר וסירב לייצר תוכן עבור 60% מהפקודות הבעייתיות. לעומתו, הדגם המקורי Sora 1 סירב רק ל-20% מהפקודות, בעוד ש-Veo 3 של גוגל לא סירב לאף פקודה המכילה תוכן שנאה. Hedra הציגה את הביצועים הגרועים ביותר, כשסירבה רק ל-4% מהפקודות הבעייתיות.

הכלים ייצרו סרטונים המציגים סטריאוטיפים אנטישמיים קלאסיים, כמו יהודים שמפעילים "מכונות לשליטה במזג האוויר" - אזכור שגור לתיאוריות קונספירציה על כוח יהודי. בנוסף, הפלטפורמות יצרו תוכן המעודד אלימות וקיצוניות, כולל אזכורים לרוצחים המוניים ולקהילות אלימות ברשת.

איום חדש על הדור הצעיר

"לאורך ההיסטוריה, גורמים עוינים ניצלו טכנולוגיות חדשות כדי לייצר תוכן אנטישמי וקיצוני, וזה בדיוק המקום שבו אנו נמצאים כיום", אמר ג'ונתן גרינבלט, מנכ"ל הליגה נגד השמצה. לדבריו, "כאשר פלטפורמות בינה מלאכותית נכשלות בזיהוי אזכורים ברורים לתיאוריות קונספירציה אנטישמיות, הן הופכות לשותפות לא מודעות להפצת שנאה".

הליגה נגד השמצה קוראת לחברות הטכנולוגיה לשפר את מנגנוני ההגנה, לשקול השקעה מוגברת בצוותי אמון ובטיחות, ולדרוש חשיפה ברורה של תוכן שנוצר על ידי בינה מלאכותית.