חוקרים יפנים דיווחו לראשונה על שיטה לתמלול חוויות חזותיות וזיכרונות לפי אותות במוח. צוות בראשותו של ד"ר טומויה הוריקאווה ממעבדות NTT Communication Science Laboratories פרסם את ממצאיו בכתב העת Science Advances. ד"ר הוריקאווה כינה את הטכניקה "כיתוב מחשבות" (mind captioning).
הטכניקה משלבת הדמיית fMRI עם LLM - המודלים הסטטיסטטיים של שפה שבהם עושים שימוש כלים כמו ChatGPT. שישה דוברי יפנית בגילאי 22 עד 37 השתתפו בניסוי, וצפו ב-2,180 סרטונים, החל מסצנות יומיומיות כמו כלב הנושך אדם ועד נופים. הבינה המלאכותית הוכשרה על ידי התאמת דפוסי פעילות המוח שנרשמו במהלך הצפייה לרצפים מספריים שהומרו מכיתוביות שנוספו לסרטונים, ובסופו של דבר יצרה משפטים.
תהליך העיבוד כולל מודל ליניארי המותאם לנתוני fMRI לתכונות סמנטיות, עם מודל שפה נוסף המשלים את סדר המילים ואת אוצר המילים. במשימה של בחירת המשפט האופטימלי מבין 100 מועמדים, הוא השיג דיוק של כ-50 אחוז, ובמשימת זיכרון הוא הפגין דיוק של עד 40 אחוז. דוגמה לתוצאת הבינה המלאכותית היא "אדם הקופץ מעל מפל מים עמוק על רכס הר".
"על ידי ניתוח פעילות המוח המעבד מידע חזותי, אנו יכולים לתאר אובייקטים, מיקומים, פעולות, אירועים ואת הקשרים ביניהם בפירוט", הסביר הוריקאווה. הוא הדגיש עוד כי העבודה נעשית באופן עצמאי ממרכזי השפה במוח.
"זו לא קריאת מחשבות; שיתוף הפעולה של הנבדק הוא חיוני", ציין הוריקאווה. הוא הוסיף כי הוא צופה יישומים עתידיים באמצעות ממשקי AI קטנים יותר הניתנים להשתלה או ללבישה.
