מטריד: משתמשים מנצלים פרצות ב-Sora 2 ויוצרים סרטונים של נערות נחנקות

חשבונות במדיה חברתית ב-X (לשעבר טוויטר) ובטיקטוק מפיצים סרטוני וידאושנוצרו בבינה מלאכותית(רובם באמצעותהכלי Sora 2), שבהם מוצגות נשים ונערות נחנקות. תופעה זו מדגישה את הקושי של חברות AI למנוע הפצת חומרים שמפרים את המדיניות שלהן נגד תוכן אלים.

סרטוני האלימות האלו מגיעים זמן קצר אחרי שנודע כי ניתן יהיה לעשות שימוש בתוכן מיני במהלך שיחות עם הצ'אטבוט הפופולרי ChatGPT - ומעוררים דאגה בקרב משתמשים רבים.

על פי האתר "חדר 404" הדוגמה הבולטת מגיעה מחשבון אחד ב-X, שהחל לפרסם עשרות סרטוני חנק שנוצרו ב-AI מאז אמצע אוקטובר. הסרטונים האלה קצרים בדרך כלל, כ-10 שניות, ומציגים בעיקר "נערה מתבגרת" שנחנקת, בוכה ומתנגדת עד שעיניה נעצמות והיא נופלת לקרקע.

Sora 2 היאכלי של חברת OpenAI, שמאפשר יצירת סרטוני וידאו קצרים על סמך תיאורים טקסטואליים. הכלי משתמש באלגוריתמים של למידת מכונה כדי להפוך מילים לסצנות ויזואליות.

למרות מדיניות האוסרת תוכן אלים, משתמשים מצליחים לעקוף את ההגבלות וליצור חומרים כאלה, שמופצים אחר כך בפלטפורמות חברתיות.

התופעה מעלה שאלות על האחריות של חברות טכנולוגיה בפיקוח על הכלים הגנרטיביים שלהן. חברות כמו OpenAI אמנם מציינות במדיניותן איסורים על תוכן שמעודד אלימות, אך האכיפה נשענת על מסננים אוטומטיים ומדווחים אנושיים.

בפועל, משתמשים מוצאים דרכים לעקוף אותם, כמו שימוש בביטויים עקיפים בתיאורים הטקסטואליים. זה מצטרף לדוגמאות אחרות של שימוש לרעה ב-AI,כמו יצירת תמונות מזויפות או דיפ-פייקס- סרטונים שבהם פנים מוחלפות באמצעות AI - שגם הן מפרות מדיניות רשמית.

יצירת והפצת סרטונים כאלה מעלים חששות אתיים על האופן שבו AI משמש להפצת תוכן מזיק, ללא פיקוח מספק. לכן, מומחים בתחום קוראים לחברות AI לשפר את המסננים שלהן, אולי באמצעות שילוב של בדיקות אנושיות משמעותיות ובדיקות אוטומטיות מתקדמות יותר.