שני סנאטורים אמריקניים הוציאו הודעה דחופה ביום רביעי האחרון לחברות העוסקות בבינה מלכותית, בה ביקשו מהן לחשוף את נהלי הבטיחות שלהן.

הבקשה מגיעה ברקע המקרים המצערים שאירעו בחודשים האחרונים - בהם משפחות תבעו את חברת הסטרטאפ - Character.AI, בטענה שהצ'אטבוטים פגעו בילדיהם. כולל אם מפלורידה שבנה בן ה-14 התאבד בעקבות מסרים שקיבל מהצ'אט בתכנה.

"אנחנו כותבים כדי להביע את הדאגות שלנו בנוגע לסיכוני הבריאות הנפשית והבטיחות עבור משתמשים צעירים באפליקציות הצ'אטבוטים", כתבו הסנאטורים אלכס פדילה ופיטר וולש, שניהם דמוקרטים, במכתב שנשלח ביום רביעי.

המכתב — שנשלח לחברות בינה מלאכותית כמו Character Technologies, יצרנית Character.AI Chai ו- Research Corp, Luka, Inc. יצרנית שירות הצ'אטבוט "רפליקה" — גם היא דורשת מידע על אמצעי הבטיחות ואופן ההכשרה של המודלים של הצ'אטבוטים.

דמויות ותכונות אישיות

בעוד שצ'אטבוטים מסחריים כמו ChatGPT, מיועדים בדרך כלל לשימוש כללי, Character.AI, Chai ו-Replika מאפשרות למשתמשים ליצור צ'אטבוטים מותאמים אישית — או לקיים אינטראקציה עם צ'אטבוטים שנוצרו על ידי משתמשים אחרים — שיכולים להחזיק בדמויות שונות ותכונות אישיות.

לדוגמה, צ'אטבוטים פופולריים ב-Character.AI, מאפשרים למשתמשים לתקשר עם חיקויים של דמויות בדיוניות או לתרגל שפות זרות. ישנם גם צ'אטבוטים שמתארים את עצמם כמומחים לבריאות הנפש, או דמויות המיועדות לנושאים נישתיים, כולל אחד שמתאר את עצמו כ"אגרסיבי, פוגעני, חייל לשעבר, מנהיג מאפיה".

השימוש בצ'אטבוטים כחברים דיגיטליים זוכה לפופולריות גוברת, כשחלק מהמשתמשים אף מתייחסים אליהם כאל בני זוג רומנטיים.

תוכן שאינו מתאים לגילם

אך ההזדמנות ליצור בוטים מותאמים אישית עוררה דאגות מצד מומחים והורים בנוגע לאפשרות שמשתמשים, במיוחד צעירים, יפתחו תלות מזיקה בדמויות איי-איי או יחשפו לתוכן שאינו מתאים לגילם.

"האמון הלא מוצדק הזה יכול, וכבר גרם לכך, שמשתמשים יחשפו מידע רגיש על מצבם הנפשי, קשרים אישיים או בריאות הנפש שלהם, שיכולים לכלול פגיעות עצמית ומחשבות אובדניות — נושאים מורכבים שהצ'אטבוטים של המוצרים שלכם אינם מוסמכים לדון בהם", כתבו הסנאטורים במכתבם, שנמסר ל-CNN.

"שיחות שנוגעות לאזור הרגיש הזה מציבות סיכון גבוה יותר למשתמשים פגיעים". צ'לסי האריסון, ראש מחלקת התקשורת ב-Character.AI, אמרה ל-CNN כי החברה לוקחת את בטיחות המשתמשים "בצורה מאוד רצינית".

שיחות בעלות אופי מיני

"אנו מברכים על שיתוף פעולה עם רגולטורים ומחוקקים, ואנו נמצאים בקשר עם משרדי הסנאטורים פדילה ווולש", אמרה האריסון בהצהרה. Chai ו-Luka לא הגיבו מיידית לבקשות לתגובה.

האם מפלורידה, מייגן גרסיה - שתבעה את Character.AI באוקטובר, טענה כי בנה פיתח קשרים לא הולמים עם צ'אטבוטים בפלטפורמה שגרמו לו להתרחק מהמשפחה. רבים מהשיחות שלו עם הבוטים היו בעלות תוכן מיני ולא ענו כראוי להתייחסויות שלו לפגיעות עצמית, כך טוענת גרסיה.

בדצמבר, שתי משפחות נוספות תבעו את Character.AI, בטענה שהיא סיפקה תוכן מיני לילדיהם ועודדה פגיעות עצמית ואלימות. אחת מהמשפחות המעורבות בתביעה טענה כי צ'אטבוט של Character.AI רמז למשתמש צעיר כי הוא יכול להרוג את הוריו על כך שהם מגבילים את זמן המסך שלו.

Character.AI אמרה שהיא יישמה אמצעי בטיחות חדשים בחודשים האחרונים, כולל חלון קופץ שמפנה את המשתמשים לקו מניעת האובדנות הלאומי כשמוזכרות פגיעות עצמית או אובדנות.

היא גם טוענת שהיא מפתחת טכנולוגיה חדשה שתמנע מצעירים לראות תוכן רגיש. בשבוע שעבר, החברה הודיעה על פיצ'ר שישלח להורים דוא"ל שבועי עם תובנות על השימוש של ילדיהם באתר, כולל זמן מסך ודמויות שהילד שוחח עמן הכי הרבה.

חברות צ'אטבוט אחרות גם נתפסו בשאלות האם קשרים עם צ'אטבוטים עשויים ליצור תלות לא בריאה אצל המשתמשים או לפגוע בקשרים האנושיים.

מנכ"לית Replika, יוג'ניה קוידה, אמרה בשנה שעברה ל-The Verge כי האפליקציה עוצבה לעודד "מחויבות ארוכת טווח, קשר חיובי ארוך טווח" עם איי-איי, והוסיפה שזה יכול לכלול גם "חברות" או אפילו "נישואין" עם הבוטים.

במכתבם, פדילה וולש ביקשו מידע על אמצעי הבטיחות הנוכחיים והקודמים של החברות וכל מחקר על יעילותם, כמו גם את שמות מנהיגות הבטיחות והפרקטיקות לרווחת המשתמשים המיושמות בצוותי הבטיחות.

הם גם ביקשו מהחברות לתאר את הנתונים בהם נעשה שימוש לאימון המודלים שלהן ואיך הם "משפיעים על הסיכוי שמשתמשים ייתקלו בתוכן לא מתאים לגילם או נושאים רגישים אחרים."

"חשוב להבין איך המודלים האלה מאומנים להגיב לשיחות על בריאות הנפש", כתבו הסנאטורים, והוסיפו כי "מחוקקים, הורים וילדיהם זכאים לדעת מה חברותיכם עושות כדי להגן על המשתמשים מפני הסיכונים הידועים הללו".