הבינה המלאכותית חודרת לכל תחום בחיינו, ומאפשרת לנו לקבל תשובות מהירות על שאלות, ליצור תמונות וסרטונים ואפילו לכתוב מיילים, עבודות וכתבות במקומנו. אבל במקביל, היא גם משמשת לדברים אחרים ואפלים להחריד: אלפי בתי ספר ברחבי ארה"ב מפעילים כיום מערכות ניטור מתוחכמות מבוססות AI, העוקבות אחר כל פעילותם המקוונת של התלמידים, תוך יצירת מציאות של מעקב רציף שמובילה לתוצאות הרות אסון עבור ילדים.
התוצאה: בת 13 נעצרה בגלל בדיחה
מקרה אחד כזה הוא של נערה בת 13 מטנסי, שכשחבריה התלוצצו על עורה השזוף וכינו אותה "מקסיקנית", היא השיבה בבדיחה סרת טעם: "ביום חמישי נהרוג את כל המקסיקנים". תוכנת המעקב של בית הספר, Gaggle, זיהתה את המשפט הזה כ"מסוכן", ושלחה התראה מיידית. עוד לפני סיום יום הלימודים, הנערה נמצאה במעצר, עברה חיפוש גופני מלא ואף לא קיבלה הזדמנות לדבר עם הוריה עד יום המחרת. היא אף הועברה לבית ספר אחר.
לסלי מת’יס, אמה של הנערה, מתארת את התחושה: "האם זו אמריקה שבה אנחנו חיים? וזו היתה הטכנולוגיה המטופשת הזו, שפשוט עוברת ונתפסת על מילים אקראיות בלי להסתכל על ההקשר".
שנתיים לאחר התקרית, מת’יס מספרת שבתה מתאוששת, אך עדיין "מפוחדת" לפגוש את שוטרי בית הספר שעצרו אותה. נקודת האור היתה החמלה שגילו המורים בבית הספר החדש, שהקדישו זמן מדי יום לתת לילדים לחלוק רגשות ותסכולים ללא שיפוטיות.
מכונת מעקב דיגיטלית
במציאות שבה ירי בבתי ספר מהווים איום מתמיד, חוקקה טנסי בשנת 2023 חוק אפס סובלנות, המחייב דיווח מיידי על כל איום באלימות המוני נגד בית ספר. מערכות כמו Gaggle ו-Lightspeed Alert פותחו כביכול כדי לזהות סימני אזהרה מוקדמים ולמנוע טרגדיות. באמצעות בינה מלאכותית, הן סורקות שיחות פרטיות של תלמידים ושולחות התראות למנהלים ולמשטרה.
המציאות מורכבת הרבה יותר. אלכסה מַנְגַניוֹטיס, תלמידה בת 16, מתארת מקרה של שני תלמידים שהקלידו משפט מאיים לגבי מורה על מחשב של בית הספר כדי להרשים את חבריהם, מחקו את הטקסט מייד – אך תוך 5 דקות כבר נלקחו מהכיתה, לאחר שהמערכת של Lightspeed התריעה על ה”סכנה”.
שיעור מדאיג של התראות שווא
ניתוח נתונים ממחוז לורנס בקנזס חושף את היקף הבעיה: בתקופה של עשרה חודשים, המערכת של Gaggle שלחה יותר מ-1,200 התראות. כשני שליש מהן – כמעט 800 התראות – הוגדרו כ"לא בעייתיות" על ידי אנשי בתי הספר, כולל יותר מ-200 התראות שווא שמקורן בשיעורי הבית של התלמידים.
במקרה אחד, תלמידים בכיתת צילום נקראו למשרד המנהל לאחר ש-Gaggle זיהתה "עירום" בתמונותיהם. התמונות נמחקו אוטומטית מה-Google Drive שלהם, אבל כשהתלמידים הציגו עותקים מהמכשירים הפרטיים שלהם, התברר שמדובר בהתרעת שווא.
נטשה טוֹרְקְזַבַּן, בוגרת בית הספר התיכון לורנס שסיימה אותו בשנה שעברה, "סומנה" בגלל עריכת חיבור קולג' של חברתה שכלל את המילים "בריאות הנפש". "אני חושבת שבאופן אידיאלי לא היינו מיישמים פתרון חדש ומבריק של בינה מלאכותית על בעיה עמוקה של בריאות הנפש של מתבגרים ושיעורי ההתאבדות באמריקה", אמרה.
השלכות נפשיות הרות אסון
נתונים מפלורידה חושפים היבט מדאיג נוסף: במחוז פּוֹלְק, שבו יותר מ-100,000 תלמידים, הובילו כ-500 התראות של Gaggle במשך ארבע שנים ל-72 מקרי אשפוז כפוי לפי חוק בייקר – חוק המאפשר לרשויות לדרוש הערכות בריאות נפש בכפייה.
עורך הדין סם בויד מהמרכז לחוק העניות הדרומי מזהיר: "מספר גבוה באופן מדאיג של ילדים שחוו בדיקה כפויה זוכרים זאת כחוויה טראומטית ומזיקה – לא משהו שעוזר להם עם הטיפול בבריאותם הנפשית".
התעשייה מסרבת לקחת אחריות
ג'ף פטרסון, מנכ"ל Gaggle, מאשים את בית הספר בטעויות של המערכת שלו, וטוען שהשתמש בתוכנה באופן שונה מזה שאליו נועדה. המטרה, לטענתו, היא למצוא סימני אזהרה מוקדמים ולהתערב לפני שהבעיות מסלימות לרמת אכיפת החוק. "הייתי רוצה שזה יהיה מטופל כמצב חינוכי, לא כמצב של אכיפת חוק", אמר.
אמי בנט, סמנכ"ל Lightspeed Systems, טוענת שהתוכנה עוזרת לבתי ספר חסרי כוח אדם "להיות פרואקטיביים במקום עונשיים" – או, במלים אחרות, להטיל עונשים עוד לפני שיש על מה (דו"ח מיוחד, מישהו?) – על ידי זיהוי סימני אזהרה מוקדמים.
אליזבת’ לֵיירד, מנהלת במרכז לדמוקרטיה וטכנולוגיה, מזהירה: "זה הפך לשגרה את הנגישות והנוכחות של רשויות אכיפת החוק בחייהם של תלמידים, כולל בביתם".
ההתנגשות בין הצורך בבטיחות לזכות של ילדים לפרטיות ממשיכה להסלים, כאשר קבוצות של תלמידים עיתונאים ואמנים מגישות תביעות נגד מערכות החינוך, בטענה שהן חושפות אותם למעקב בלתי חוקתי. הבעיה היא שכרגע נראה שהמבוגרים מוכנים להקריב את ילדיהם לטראומה מתמשכת עבור תחושת בטיחות דמיונית ממקרי טבח המוניים שהרבה יותר קשה למנוע מכפי שיכולה הבינה המלאכותית להבין.
(הכתבה נכתבה בעזרת קלוד)
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו