"סיכונים קיומיים": שומר הסף של אנתרופיק פרש - והדאגה גוברת

עוד מכה לתדמית ה"אחראית" של ענקיות הבינה המלאכותית: מריננק שארמה, חוקר בטיחות בולט בחברת Anthropic, החברה שעומדת מאחורי המודל הפופולרי Claude, הודיע הלילה (בין שלישי לרביעי) על התפטרותו המיידית מהחברה.

שארמה, שהתמקד במחקרים קריטיים שנועדו להבטיח שמערכות בינה מלאכותית לא יפעלו בניגוד לאינטרס האנושי, מצטרף לרשימה הולכת וגדלה של מומחים שעוזבים את החברות המובילות בעמק הסיליקון. העזיבה מעלה חשש כבד כי הלחץ לשחרר מודלים חזקים יותר גובר על מנגנוני הבקרה והבטיחות.

פער בין ההייפ החיצוני למשבר הפנימי

העיתוי של ההתפטרות הזו מעניין במיוחד. מצד אחד, אנתרופיק נהנית ממומנטום אדיר בשוק. רק לאחרונהדיווחנו כאן בהרחבה על העולם שמשתגע ממודל הקוד של אנתרופיק ועל ההתלהבות של המפתחים הישראליםמהיכולות של הגרסאות האחרונות. אולם נראה שדווקא ההצלחה המסחררת הזו והמרוץ להשיק כלים חזקים עוד יותר, כמו Claude 3.5 Opus, יוצרים סדקים בתוך החברה עצמה.

אנתרופיק הוקמה במקור על ידי יוצאיOpenAIבדיוק על הרקע הזה - הרצון לבנות חברה ששמה את הבטיחות לפני הרווחים.

עזיבתו של שארמה מעלה סימני שאלה קשים האם גם אנתרופיק נכנעת ללחץ המסחרי במרוץ החימוש מולגוגלו-OpenAI, והאם ההבטחה ל"בינה מלאכותית בטוחה" הופכת לסיסמה ריקה מתוכן.

המשך הדרך של שארמה

בפוסט שפרסם, שארמה לא פירט את כל הסיבות לעזיבה, אך ציין כי הוא מתכוון להמשיך ולעסוק בתחום "יישור הבינה המלאכותית" - התחום שאחראי לוודא שהמכונה "חושבת" בקו אחד עם הערכים האנושיים, מחוץ לכותלי החברה.

לא מקרה בודד: גל העזיבות הגדול

המהלך של שארמה אינו מתרחש בחלל ריק ומזכיר באופן מטריד את ההתפטרויות המתוקשרות מ-OpenAI מוקדם יותר השנה. בין הבולטים:

• איליה סוצקבר: המדען הראשי ומייסד שותף, שעזב כדי להקים חברה המתמקדת בבטיחות בלבד.

• יאן לייקה: ראש צוות ה-Superalignment, שעזב תוך הטחת ביקורת קשה על כך ש"הבטיחות נדחקה לטובת מוצרים נוצצים".

למה זה צריך להדאיג את המשתמשים?

עבור המשתמש הממוצע, הוויכוחים הפנימיים הללו עשויים להיראות תיאורטיים, אך יש להם משמעות מעשית. פחות פיקוח בטיחותי עלול להוביל למודלים שפולטים מידע שגוי או מסוכן בתדירות גבוהה יותר, ומושכים אש מצד רגולטורים.

נכון לעכשיו, אנתרופיק לא שחררה תגובה רשמית, אך עבור התעשייה המסר ברור: המצפן המוסרי של עולם הבינה המלאכותית ממשיך לאבד את שומרי הסף שלו.