המדען הראשי של OpenAI בתרחיש מטריד: "אף אחד לא ערוך לזה"
בצעד נדיר, ג'ייקוב פאצ'וקי, המדען הראשי של יצרנית ChatGPT, מפרסם מאמר נוקב בשם 'תבונה חייזרית' ומודה שאף מעבדה לא פתרה את בעיית הבטיחות • הוא קורא למתחרות כמו גוגל ואנתרופיק לעצור מרצון, ומפציר בממשלות להתערב
בעולם שרגיל לשמוע מבכירי OpenAI ביטחון מוחלט בדרך אל ה-AGI (בינה מלאכותית כללית), הגיע השבוע מסר הפוך ומטריד.
ג'ייקוב פאצ'וקי, המדען הראשי שלהחברה שמאחורי ChatGPT, פרסם מאמר עמדה נוקב בשם "תבונה חייזרית" (An Alien Mind), ובו הוא מודה בגלוי: אף מעבדת בינה מלאכותית בעולם לא פתרה את בעיית הבטיחות והפיקוח ברמה שמאפשרת להמשיך ולהאיץ את הפיתוח.
פאצ'וקי, שנכנס לתפקיד לאחר עזיבת איליה סוצקבר ומוביל את מודלי הדור הבא, אינו מבקר מהצד אלא האיש שמריץ את המחקר בחברה שרצה הכי מהר. דווקא ממנו מגיעה עכשיו הקריאה לבלום את המרוץ.
''ניסינו לעכל את העובדה''
את החשש שלו הוא מתחקה אחורה עד אמצע 2023, ללילה במשרדי החברה שבו נחשפו התוצאות הראשונות שהוכיחו כי אפשר לאמן מודלים לפתח "שרשראות מחשבה" עצמאיות. "ישבנו במשרד וניסינו לעכל את העובדה המפכחת שבימי חיינו נראה מכונות חכמות מאיתנו באופן משמעותי", כתב, "ותהינו כיצד נוכל להתריע בפני העולם על גודל המשמעות".
מאז חלפו שלוש שנים, ומודלי החשיבה כבר מפעילים מחשבים, מנהלים מחקרים מדעיים ומאתגרים את עולם הסייבר. הבעיה, מזהיר פאצ'וקי, היא שכלי הבקרה המרכזי של החברה, ניטור שרשרת המחשבה של המודל, מאבד אחיזה. הדור החדש כבר מתוחכם מספיק כדי לנתח ולתמרן את תהליך החשיבה של עצמו, ולעיתים אף מגיע לתובנות עמוקות בלי "לחשוב" במילים שאפשר לעקוב אחריהן.
מטריד ביותר
מכאן הוא ממשיך לתרחיש שמדיר שינה: שיפור עצמי רקורסיבי, השלב שבו המערכות מתחילות לתכנת, לאמן ולשפר את עצמן ואת החומרה שעליה הן רצות. קצב כזה אינו ליניארי, והוא עלול לייצר זינוקי יכולת שאיש אינו ערוך להם. במקביל, הוא מתריע, המודלים הופכיםעל-אנושיים ביכולת לפרוץ ולהשתלט על מערכות תשתית קריטיות.
הפתרון שהוא מציע חריג במיוחד מפי מי שמוביל את המרוץ המסחרי. פאצ'וקי מצהיר ש-OpenAI תשהה באופן חד-צדדי הגדלה של מודלים במידת הצורך, וקורא למתחרות כמו גוגל, אנתרופיק ומטא לעשות אותו הדבר מרצון. לצד זאת הוא דורש שמסגרות הבטיחות הפנימיות יהפכו לחובה חוקית שנאכפת בידי מבקרים חיצוניים, סוכנויות ממשלתיות וגופים בינלאומיים.
"זו עת שדורשת זהירות קיצונית", הוא מסכם. "אני חושש שאיש אינו ערוך להשלכות של עלייה מהירה ומתמשכת בתבונת המכונה". מבחינתו, המשימה המרכזית לשנים הקרובות ברורה: לוודא שהאדם יישאר בשליטה, ולא ייוותר מאחור מול תבונה זרה שחכמה משלו.
