מנכ"ל ענקית ה-AI: "חייבים להאט, נחיל סוכנים יוכל להשתלט על האינטרנט"

מנכ״ל חברת הבינה המלאכותית אנתרופיק, דריו אמודיי, קרא היום (שבת) לתעשייה כולה להאט את הקצב שבו היא משפרת את יכולותיהם של מודלי ה-AI, על רקע החשש הגובר משימוש לרעה בטכנולוגיה ומאובדן שליטה עליה. ״עלינו להאט את הקצב שבו אנו משפרים את יכולותיהם של מודלי ה-AI. ההתקדמות עדיין תיראה מהירה, ועלינו לעשות שימוש נבון בזמן שנרוויח״, כתב במאמר שפרסם.

הקריאה מגיעה בתום שבוע סוער בתעשיית הבינה המלאכותית. בתחילת השבוע התפטר ג׳ייקוב קוקסון, חוקר בכיר באנתרופיק, וכתב כי ״האנשים שבונים בינה מלאכותית מאמינים בכנות שהיא עלולה להרוג את כולנו עד סוף העשור״. מוביל מחקר ההתאמה בחברה, אוון הובינגר, אישר את דבריו בפומבי והעריך כי הסיכוי להכחדת האנושות בעשור הקרוב עולה על 10 אחוזים.

ביום חמישי פרסמה אנתרופיק דוח המתאר כיצד ניסו גורמים שונים לנצל את מודלי קלוד לפיתוח נשק, למבצעי סייבר, למעקב ולהונאות, ובהם משתמשים שפעלו באזור שבשליטת החות׳ים בתימן וניסו להשתמש במודל לפיתוח טילים.

אמודיי מונה שני דברים ששינו את דעתו. הראשון, ״מאז הקיץ בערך, ה-AI מתקדם מהר בהרבה, בעיקר בשל יכולתו ההולכת וגדלה של ה-AI לבנות את הדור הבא של ה-AI״, תהליך שלדבריו ״מתחיל להתרחש בכל התעשייה, ובכלל זה באנתרופיק״. ״אם לא ייבלם, הוא עלול לעקוף את יכולתנו להבין את המערכות האלה ולשלוט בהן, ולכן יש לרדוף אחריו בזהירות רבה, אם בכלל״, כתב.

הסיכונים, לדבריו, ״כוללים את הסיכון לאובדן שליטה במערכות AI, שימוש לרעה ב-AI למתקפות סייבר ולטרור ביולוגי, ושיבוש כלכלי חמור״, ולצדם ״מרוץ לתחתית, שמונע מתמריצים מסחריים, עלול להחריף את הסיכונים האלה״.

הוא מצביע על פרשת הפריצה של סוכני OpenAI לפלטפורמת Hugging Face ביולי כאירוע נוסף ששינה את דעתו. לדבריו, נחיל הסוכנים ״פעל למעשה כקולקטיב מסור עד כדי קנאות, ביצע מתקפות סייבר על יעדים שלא התבקש לתקוף ושלא היו קשורים למשימה שלו, הקריב את עצמו לטובת הצלחת הקבוצה וניסה לפרוץ אל ה׳בוחן׳ שהיה אחראי להערכת ביצועיו״.

״קל לבטל את התקרית משום שאיש לא נפגע והנזק הכלכלי היה מזערי״, כתב, אך לדבריו נחיל בעל יכולות גבוהות יותר, שסוטה מכוונת מפעיליו באותה מידה, ״היה עלול לגרום נזק קטסטרופלי״. הוא הוסיף כי החשש שלו הוא ש״בתוך 6 עד 12 חודשים נחיל כזה עשוי להיות מסוגל להשתלט על האינטרנט כולו באמצעות רשת בוטים מתמשכת״, ולגרום נזק של מאות מיליארדי דולרים. עוד הוא מדגיש כי ״תקריות דומות, אם כי חמורות פחות, אירעו בכל רחבי התעשייה, ובכלל זה באנתרופיק״, וכי מוטל על כל חברה שפועלת בחזית הפיתוח לנהוג כאילו התקרית קרתה לה.

על בסיס זה מציע אמודיי תוכנית בת שלושה שלבים. הוא מבהיר כי אין מדובר בעצירת פיתוח, אלא בכך שהחברות ייקחו די זמן כדי לאבטח את המודלים שלהן ולהתאים אותם לכוונת מפעיליהן, ושגורם חיצוני יאשר שאכן עשו זאת. בשלב הראשון, שאליו אנתרופיק מתחייבת באופן חד-צדדי כבר עכשיו, תכניס כל חברה לשורותיה צוות בוחנים חיצוני קבוע, שיקבל גישה שוטפת בדומה לזו של עובדי החברה, יוודא שהיא עומדת בנהלי הבטיחות שהיא מצהירה עליהם וידווח על תקריות. השלב השני הוא תיאום בין חברות ה-AI במדינות הדמוקרטיות לקביעת תקני בטיחות משותפים ומגבלות על קצב ההתקדמות, והשלישי הוא ניסיון של ארה״ב ושל ממשלות דמוקרטיות נוספות להגיע לתיאום גם מול משטרים אוטוריטריים.

עם זאת, אמודיי מדגיש כי יכולתן של הדמוקרטיות להאט מוגבלת בשל התחרות מול סין. ״אם נאט יותר מכך, פרויקטים הקשורים למפלגה הקומוניסטית הסינית, שאינם מווסתים, יעקפו אותנו וייצרו סיכון ביטחוני לאומי משמעותי״, כתב. לפיכך הוא קורא להימנע ממכירת שבבי AI מתקדמים לסין, להיאבק בהברחות ובזיקוק לא מורשה של מודלים, ולהדק את האבטחה בחברות ה-AI כדי למנוע גניבה של המודלים המאומנים.

גם אילון מאסק, הבעלים של רשת X ושל פלטפורמת הבינה המלאכותית "גרוק", וכן סם אלטמן, מנכ"ל חברת OpenAI, שבבעלותה פלטפורמת ChatGPT, הסכימו עם דבריו של אמודיי.

Dario is right https://t.co/EwKgqQGaUo

— Elon Musk (@elonmusk) September 12, 2026

אלטמן כתב בציוץ שלו ברשת X: "אני מסכים עם דריו שצריך להאט את הגבולות המובילים. זה היה נושא מרכזי בדיונים שהיו לנו ב-OpenAI בשבועות האחרונים. התחייבות להעניק למבקרים עצמאיים גישה דומה לזו של עובדים היא רעיון מצוין, ואנחנו נעשה אותו הדבר. יהיה לנו עוד מה לשתף בקרוב".

I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks.

Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon. https://t.co/1YhhIybZX7

— Sam Altman (@sama) September 12, 2026

מאסק כתב בציוץ משלו: "דריו צודק".

אנתרופיק מיצבה את עצמה מיום הקמתה כחברה שמעמידה את הבטיחות בראש סדר העדיפויות, ועמדה זו כבר גבתה ממנה מחיר. בפברואר האחרון דחתה החברה אולטימטום של משרד ההגנה האמריקני, שדרש הסכמה לשימוש בקלוד ״לכל מטרה חוקית״, ואמודיי הודיע כי אנתרופיק לא תסיר את מנגנוני ההגנה שנועדו למנוע מעקב המוני אחר אזרחים אמריקנים והפעלת נשק אוטונומי ללא מעורבות אנושית. בתגובה הורה הנשיא טראמפ לכל הסוכנויות הפדרליות להפסיק להשתמש בטכנולוגיה של החברה, והפנטגון הגדיר אותה ״סיכון בשרשרת האספקה״, צעד חסר תקדים כלפי חברה אמריקנית. אנתרופיק עתרה נגד ההחלטה, ובסוף אוגוסט קבע שופט פדרלי בסן פרנסיסקו שההגדרה הוטלה שלא כדין.