דוח שעסק ברפורמה חינוכית שהוכן עבור הממשלה הקנדית ושראה אור לאחרונה הכיל לפחות 15 ציטוטים מזויפים, שחוקרים חושדים כי נוצרו על ידי מודל בינה מלאכותית. האירוניה מתעצמת לאור העובדה שאותו דוח קורא ל"שימוש אתי" ב-AI במערכת החינוך במדינה.
המסמך, שנקרא "חזון לעתיד: שינוי ומודרניזציה של החינוך", פורסם ב-28 באוגוסט ונועד לשמש כ"מפת דרכים לעשור הקרוב למודרניזציה של בתי הספר הממשלתיים ומוסדות ההשכלה הגבוהה במחוז ניופאונדלנד ולברדור". המסמך בן 418 העמודים נכתב במשך 18 חודשים והוצג לשר החינוך הקנדי ברנרד דייוויס.
אולם, כאשר מומחים החלו לקרוא את הדוח לעומק, הם גילו בו עד מהרה בעיות רבות. כך, למשל, הדוח מתייחס לסרט קנדי משנת 2008 בשם "משחקי חצר", שאינו קיים כלל. למעשה, הציטוט המדויק המתייחס לסרט הופיע במדריך עיצוב של אוניברסיטת ויקטוריה - מסמך המלמד סטודנטים כיצד לעצב הפניות במחקרים אקדמיים באמצעות דוגמאות בדויות למקורות שכאלה. זאת ועוד, המדריך מזהיר באופן ברור בעמוד הראשון שלו כי "ציטוטים רבים במדריך זה הם בדויים", כלומר דוגמאות מומצאות המיועדות רק להדגמת עיצוב נכון. עם זאת, מישהו (ככל הנראה צ'אטבוט AI) העתיק את הדוגמה המזויפת ישירות לדוח החינוכי כאילו מדובר במקור אמיתי.
פרופ' אהרון טאקר, מרצה עמית באוניברסיטת מריאל שמחקרו מתמקד בהיסטוריה של בינה מלאכותית בקנדה, אמר לערוץ CBC הקנדי כי לא הצליח למצוא מקורות רבים הנזכרים בדוח, זאת למרות חיפושים בספרייה האוניברסיטאית, במאגרי מידע אקדמיים אחרים ובגוגל. "זיוף מקורות מעלה את השאלה: האם זה הגיע מבינה מלאכותית יוצרת?" אמר טאקר. "אני לא יודע אם זו תוצאה של שימוש בבינה מלאכותית או לא, אבל זיוף מקורות הוא סימן היכר ידוע של בינה מלאכותית".
מאז הופעתם של מודלי שפה של בינה מלאכותית, יצירת ציטוטים מזויפים הפכה בעיה מתמשכת. הנטייה להמציא ציטוטים אקדמיים גורמת לבעיות משמעותיות בהקשרים אקדמיים ומשפטיים, שבהם מקורות מזויפים יכולים לעבור בקלות ביקורת אנושית רשלנית משום שהם מנוסחים כראוי על פי כללי הכתיבה האקדמית ולכאורה מתאימים להקשר.
מודלים של בינה מלאכותית כמו אלה שמפעילים את ChatGPT, Gemini וקלוד מצטיינים בייצור בדיוק סוג זה של "בדיות אמינות", משום שהם מייצרים מידע בקירוב סטטיסטי גבוה, המבוסס על תבניות שנספגו במהלך האימון שלהם. כאשר התבניות הללו אינן מתיישרות היטב עם המציאות, התוצאה היא מידע שגוי שנשמע מאוד בטוח בעצמו ויכול לשטות בקורא מזמן ואפילו במומחים.
110 המלצות
במקרה של הדוח הקנדי האירוניה בולטת במיוחד, משום שאחת מ-110 ההמלצות של הדוח קובעת במפורש כי הממשלה המחוזית צריכה "לספק ללומדים ולמחנכים ידע חיוני בבינה מלאכותית, כולל אתיקה, פרטיות נתונים ושימוש אחראי בטכנולוגיה".
פרופ' שרה מרטין, מרצה למדעי המדינה באוניברסיטת ממוריאל שבילתה זמן רב לטענתה בבדיקת המסמך, גילתה ציטוטים מזויפים מרובים. "חיפשתי הסברים שונים לטעויות האלו, אבל לא מצאתי כל הסבר אחר פרט לשימוש ב-AI", אמרה ל-CBC. "את אומרת לעצמך: 'זה חייב להיות נכון, זה הרי ציטוט במסמך חשוב מאוד למדיניות חינוכית - אבל זו סתם טעות".
משרד החינוך והפיתוח אישר ל-CBC, כי אכן היו "כמה שגיאות פוטנציאליות בציטוטים". "אנו מבינים כי נושאים אלה מטופלים, וכי הדוח המקוון יעודכן בימים הקרובים כדי לתקן כל שגיאה".
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו