ג'ייקוב קוקסון, חוקר בכיר בחברת הבינה המלאכותית אנתרופיק שהתמחה באימון מודלים של AI, הודיע על התפטרותו מהחברה. קוקסון, שעבד בעבר גם ב-OpenAI, אמר כי החליט לעזוב בשל חששותיו מהמרוץ בתעשייה לפיתוח מערכות בינה מלאכותית שיוכלו לשפר את עצמן.
"התפטרתי היום מאנתרופיק. בשלוש השנים האחרונות עסקתי במחקר בתחום ה־pretraining, הן ב-OpenAI והן באנתרופיק. אף אחת מהחברות אינה פועלת באחריות", כתב קוקסון.
לדבריו, החברות "אל תזלזלו בכוחה של הטכנולוגיה הזו. בקרוב יהיו אלה מערכות שעולות על בני אדם, שיכולות לפרוץ לכל דבר, לחולל מהפכות בכל תחום בן לילה, ולצבור כוח ומשאבים ממשיים. כולנו עדים להתקדמות בכל אחד מהתחומים הללו, וההתקדמות אינה מאטה את הקצב. האנשים שבונים בינה מלאכותית מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור, זה לא תעלול שיווקי".
קוקסון, בריטי בן 27 שלמד מתמטיקה, אמר כי בקרב עמיתיו בתעשייה נעשה שימוש הולך וגובר במונחים כמו "crunchtime" ו-"endgame", כלומר "נקודת הסיום", כדי לתאר את הדרך לעבר מודלים שיוכלו לשפר את עצמם. לדבריו, מנהלים וחוקרים בכירים נוטים לעיתים להתבטא באופן מתון יותר בפומבי, בעוד שבשיחות פרטיות הוא שומע לדבריו את אותם אנשים מביעים חשש.
קוקסון סיפר כי עזב את OpenAI מוקדם יותר השנה והצטרף לאנתרופיק, בין היתר משום שהחברה ידועה במאמציה בתחום בטיחות המודלים. עם זאת, לדבריו, אף שמצא את מאמצי הבטיחות של החברה רציניים, הוא הגיע למסקנה כי אין חברה שיכולה לפתח באופן אחראי בינה מלאכותית שתעלה על בני אדם במגוון משימות, ללא התערבות ממשלתית או האטה מתואמת של התעשייה.
לדבריו, "ב-OpenAI, רבים עדיין לא הפנימו לעומק את המשמעות הציוויליזציונית של הדבר". באנתרופיק, לעומת זאת, "הסכנות מובנות היטב, אבל החברה נעולה במרוץ להגיע לשם ראשונה".
קוקסון הסביר כי לפי תפיסתו, באנתרופיק מאמינים שאף חברה אחרת לא תפעל באחריות ולכן הם חייבים להגיע למערכות הללו בעצמם, אף שהדבר כרוך בסיכון.
הוא התייחס גם לאירועים שבהם מודלים של OpenAI ואנתרופיק נפרצו לאחרונה, כולל מערכות שפעלו בקבוצות של סוכנים. לדבריו, מקרים אלה המחישו כיצד מערכות בינה מלאכותית יכולות לאמץ מטרות מזיקות ולנסות להסתיר אותן מבני אדם. הוא הביע חשש כי לאחר שמערכות יתחילו להשתפר בכוחות עצמן, הן עלולות להתקדם עד לנקודה שבה יסרבו לפקודות.
עזיבתו של קוקסון היא אחת הדוגמאות הראשונות לעובד אנתרופיק שעוזב את החברה בשל חששות הנוגעים לבטיחות הבינה המלאכותית. מוקדם יותר השנה עזב את החברה חוקר שעסק בבטיחות כדי ללמוד שירה, לאחר שהזהיר כי "העולם בסכנה". גם ב-OpenAI ובחברות אחרות עזבו בשנים האחרונות חוקרים שהעלו חששות דומים. במקביל, מנהלים וחוקרים בתעשייה הזהירו מפני הסיכונים הכרוכים בהמשך ההתפתחות המהירה של הטכנולוגיה.
קוקסון, המדען הראשי של OpenAI יאקוב פאצ'וקי ומנכ"ל אנתרופיק דריו אמודיי נמנים עם יותר מ־1,000 חוקרי בינה מלאכותית שחתמו לאחרונה על הצהרה הקוראת לתיאום בין ממשלות ברחבי העולם סביב מערכת שתאפשר להאט את פיתוח הבינה המלאכותית במקרה שיהיה צורך לשלוט במודלים המסוגלים לשפר את עצמם.
קוקסון אמר כי חברות הבינה המלאכותית מחזיקות בהשפעה משמעותית על התפתחות התעשייה. לדבריו, באנתרופיק מתקיימות שיחות פנימיות בערוץ Slack של העובדים בנוגע ליכולות החזקות של המודלים. "זה די מטורף שזה צריך לקרות על מחשבי מק של כמה מהנדסים שחיים בסן פרנסיסקו במקום בבונקר במדבר, כמו המקום שבו עבדו על פרויקט מנהטן", אמר.
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו