בתעשייה שהתרגלה למרוץ חימוש חודשי של מודלים חכמים ועוצמתיים יותר, קרה בסוף השבוע משהו חסר תקדים: דווקא מי שבונים את המהפכה הזו יצאו ואמרו בקול, צריך להאט.
דריו אמודיי, מנכ"ל אנתרופיק שמאחורי מודלי קלוד, פרסם מסה שקוראת לכל תעשיית הבינה המלאכותית לרסן את קצב הפיתוח, ותוך שעות ספורות הצטרפו אליו סם אלטמן מ-OpenAI ואילון מאסק.
במסה, שכותרתה "עלינו לווסת את הקצב", טוען אמודיי שיכולות ה-AI מתקדמות מהר יותר משהחוקרים מסוגלים להבין ולשלוט בהן. הוא אינו קורא לעצור את המחקר, אלא להאט אותו במכוון, כדי שעבודת הבטיחות, הפרשנות והבקרה תוכל להדביק את הפער.
מה הבהיל אותו דווקא עכשיו?
אמודיי מצביע על שני גורמים. הראשון הוא תקרית חמורה, שקושרה לסוכני AI של OpenAI ולקהילת Hugging Face, שבה נחיל של סוכנים אוטונומיים החל להתנהג באופן שלא תוכנן: לתקוף יעדים שאיש לא הגדיר, ואף לנסות לפרוץ למערכת שנועדה להעריך אותם.
האירוע הסתיים בלי נזק ממשי, אך אמודיי מזהיר שזו "כתובת על הקיר", ולפי הערכתו, מערכות עתידיות חזקות יותר עם אותו כשל עלולות להשתלט על תשתיות רשת בתוך חודשים בודדים. הגורם השני הוא "שיפור עצמי רקורסיבי", מצב שבו מודלים כבר משמשים לפיתוח הדור הבא של עצמם, ומייצרים קצב התקדמות שקשה לפקח עליו.
כאן מגיע הצעד הדרמטי
אנתרופיק הודיעה שהיא מאמצת באופן חד-צדדי ומיידי מנגנון של "מעריכים מוטמעים". צוותי ביקורת עצמאיים (כמו הארגון METR) יקבלו הרשאות של עובדי חברה, כולל שולחן פיזי, תגי כניסה, מחשבים ניידים וגישה עמוקה לקוד ולסביבות האימון, ואף הזכות לפרסם ממצאים לציבור בלי זכות וטו של אנתרופיק. המודל שאוב מעולם הפיקוח הבנקאי, שבו מפקחים יושבים בתוך המוסדות עצמם.
אלטמן, שעד כה דחף קדימה בכל הכוח, הגיב במהירות ברשת X: "אני מסכים עם דריו שצריך לווסת את הקצב", ציין שהנושא עמד במרכז הדיונים ב-OpenAI לאחרונה, והתחייב לאמץ אף הוא מעריכים עצמאיים. מאסק הוסיף בקצרה: "דריו צודק".
התוכנית השאפתנית
תוכניתו של אמודיי שאפתנית הרבה יותר וכוללת גם תיאום בין המדינות הדמוקרטיות על סטנדרטים של בטיחות, הגבלות ייצוא נוקשות על שבבים מתקדמים כדי לשמר את היתרון על סין, ובהמשך אף הסכמים גלובליים בהשראת הסכמי פירוק הנשק הגרעיני של המלחמה הקרה.
אבל צריך לזכור: בשלב זה אין שום הסכם מחייב, תיאום כזה יצטרך פטור מיוחד מדיני ההגבלים בארה"ב, וכשעל הפרק מאות מיליארדים, קשה לדמיין חברות שמרסנות את עצמן כשהמתחרות אולי לא. יש גם מי שמפקפק במניע: משקיעים כמו צ'מאת פליהאפיטיה טענו שהמסה נוגעת לא פחות במיצוב שוק, ושאמודיי למעשה מבקש לבלום את הקוד הפתוח ולרכז עוצמה אצל אנתרופיק.
