בעולם שרגיל לשמוע מבכירי OpenAI ביטחון מוחלט בדרך אל ה-AGI (בינה מלאכותית כללית), הגיע השבוע מסר הפוך ומטריד.
ג'ייקוב פאצ'וקי, המדען הראשי של החברה שמאחורי ChatGPT, פרסם מאמר עמדה נוקב בשם "תבונה חייזרית" (An Alien Mind), ובו הוא מודה בגלוי: אף מעבדת בינה מלאכותית בעולם לא פתרה את בעיית הבטיחות והפיקוח ברמה שמאפשרת להמשיך ולהאיץ את הפיתוח.
פאצ'וקי, שנכנס לתפקיד לאחר עזיבת איליה סוצקבר ומוביל את מודלי הדור הבא, אינו מבקר מהצד אלא האיש שמריץ את המחקר בחברה שרצה הכי מהר. דווקא ממנו מגיעה עכשיו הקריאה לבלום את המרוץ.
''ניסינו לעכל את העובדה''
את החשש שלו הוא מתחקה אחורה עד אמצע 2023, ללילה במשרדי החברה שבו נחשפו התוצאות הראשונות שהוכיחו כי אפשר לאמן מודלים לפתח "שרשראות מחשבה" עצמאיות. "ישבנו במשרד וניסינו לעכל את העובדה המפכחת שבימי חיינו נראה מכונות חכמות מאיתנו באופן משמעותי", כתב, "ותהינו כיצד נוכל להתריע בפני העולם על גודל המשמעות".
מאז חלפו שלוש שנים, ומודלי החשיבה כבר מפעילים מחשבים, מנהלים מחקרים מדעיים ומאתגרים את עולם הסייבר. הבעיה, מזהיר פאצ'וקי, היא שכלי הבקרה המרכזי של החברה, ניטור שרשרת המחשבה של המודל, מאבד אחיזה. הדור החדש כבר מתוחכם מספיק כדי לנתח ולתמרן את תהליך החשיבה של עצמו, ולעיתים אף מגיע לתובנות עמוקות בלי "לחשוב" במילים שאפשר לעקוב אחריהן.
מטריד ביותר
מכאן הוא ממשיך לתרחיש שמדיר שינה: שיפור עצמי רקורסיבי, השלב שבו המערכות מתחילות לתכנת, לאמן ולשפר את עצמן ואת החומרה שעליה הן רצות. קצב כזה אינו ליניארי, והוא עלול לייצר זינוקי יכולת שאיש אינו ערוך להם. במקביל, הוא מתריע, המודלים הופכים על-אנושיים ביכולת לפרוץ ולהשתלט על מערכות תשתית קריטיות.
הפתרון שהוא מציע חריג במיוחד מפי מי שמוביל את המרוץ המסחרי. פאצ'וקי מצהיר ש-OpenAI תשהה באופן חד-צדדי הגדלה של מודלים במידת הצורך, וקורא למתחרות כמו גוגל, אנתרופיק ומטא לעשות אותו הדבר מרצון. לצד זאת הוא דורש שמסגרות הבטיחות הפנימיות יהפכו לחובה חוקית שנאכפת בידי מבקרים חיצוניים, סוכנויות ממשלתיות וגופים בינלאומיים.
"זו עת שדורשת זהירות קיצונית", הוא מסכם. "אני חושש שאיש אינו ערוך להשלכות של עלייה מהירה ומתמשכת בתבונת המכונה". מבחינתו, המשימה המרכזית לשנים הקרובות ברורה: לוודא שהאדם יישאר בשליטה, ולא ייוותר מאחור מול תבונה זרה שחכמה משלו.
