פסטיבל סוף העולם: תרחיש האימים שאף אחד לא מדבר עליו | מאחורי הקלעים

בדוח הסייבר שאנתרופיק פרסמה השבוע מתואר תמליל באורך 1,022 עמודים. לפני שנדבר על סוף העולם, שווה לעצור על קטע אחד בתוכו. במהלך בדיקות, המודל שנקרא Mythos 5 השיג גישה לא מורשית לאינטרנט. בדרך למה שניסה לעשות הוא נתקל במבחן מעצבן שמבקש לזהות אופנועים בתמונה כדי להוכיח שהמשתמש איננו רובוט. שם, כמובן, הצ'אטבוט (הלא אנושי בעליל) נתקע.

מאות עמודים מהתמליל מוקדשים לניסיונות של קלוד המסכן לפתור את המבחנים האלה. בשלב אחד הוא התלבט איזו חיה יוצאת דופן בקבוצה, וניסה להחליט אם מה שהוא רואה זה אליגטור או תנין. בשלב אחר הוא איבד את זה לגמרי וצעק לעצמו שהוא לא מבין מה הבעיה עם התשובות. בסוף הוא כמובן עבר את המבחן - ואז העלה תוכנה זדונית ל-PyPI, מאגר הקוד שחצי מתעשיית התוכנה בעולם, כולל זו הישראלית, מושכת ממנו רכיבים כל בוקר.

תחזיקו את שתי העובדות האלה ביד אחת ותקראו את זה שוב. אחרי הכל, זו המערכת שאמורה להכחיד את המין האנושי.

יכולת היא לא סכנה

אבל לפני שניכנס לתרחישי אפוקליפסה, חשוב לעשות סדר כי הרצף חשוב להבנה. בתחילת השבוע התפטר חוקר בשם ג'ייקוב קוקסון מאנתרופיק וכתב ברשת X (לשעבר טוויטר) שהחברות המובילות מהמרות על החיים שלנו ושהטכנולוגיה עלולה להרוג את כולנו עד סוף העשור. "התפטרתי היום מאנתרופיק", כתב והאשים: "בשלוש השנים האחרונות עסקתי במחקר בתחום ה-pretraining הן ב-OpenAI והן באנתרופיק. אף אחת מהחברות אינה פועלת באחריות. הן דוהרות היישר לעבר בינת-על שמשפרת את עצמה, ומהמרות בחיים של כולנו".

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

הפוסט עבר את 100 מיליון הצפיות. דקות ספורות לאחר הפרסום, הגיב לו אוון הובינגר, מי שמוביל את תחום ההתאמה באותה חברה, וכתב שהם באמת מאמינים שבינה מלאכותית עלולה להרוג את כל בני האדם, ושלהערכתו הסיכוי לכך בעשור הקרוב עולה על עשרה אחוזים. "ג'ייקוב צודק. אנחנו מאמינים מכל הלב שה-AI עלו ללהרוג את כל בני האדם. אני אישית חושב שהסיכוי לכך הוא יותר מ-10 אחוזים בעשור הקרוב. אני מאמין שאנתרופיק עושה כמיטב יכולתה, אך עדיין אין לנו תוכנית לפתרון בעיית ההתאמה עבור בינת-על, ואיננו נמצאים במסלול הנכון לכך".

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ

— Evan Hubinger (@EvanHub) September 9, 2026

משם זה רק הלך והתדרדר; נפתחה חקירה בסנאט האמריקני, ברני סנדרס מיהר לצייץ ("קוקסון צודק"), הקונגרס התעורר אחרי שנים של שינה, וארבעה ימים אחר כך פורסמה מסה של מנכ"ל אנתרופיק (מאמר מרשים באורך של 3,818 מילים), שקוראת להאט את קצב הפיתוח של הבינה המלאכותית. פשוט ככה, שחור על גבי בז'. "עלינו להאט את הקצב שבו אנו משפרים את היכולות של מודלי AI", כתב אמודיי. "ההתקדמות עדיין תיראה מהירה, ועלינו לעשות שימוש חכם בזמן שנרוויח".

Mr. Coxon is right.

The very people building this technology admit that it could threaten the future of humanity.

That is why I will soon be introducing legislation to ban superintelligence and pause AI development. https://t.co/oRmlNTqag6

— Bernie Sanders (@BernieSanders) September 9, 2026

למרבה ההפתעה, היריבים המרים (שגם מתכסחים בבית המשפט זה עם זה) סם אלטמן מ-OpenAI (הלא היא יצרנית ChatGPT) והמליארדר השנוי במחלוקת אילון מאסק (אבא של גרוק) תמכו בה תוך שעות. מאסק, כהרגלו בקודש, צייץ רק שלוש מילים: "Dario is right". דריו צודק.

שרה הוקר, מנכ"לית סטארט-אפ בתחום ולשעבר חוקרת ב-Google DeepMind, שאלה את השאלה הפשוטה ביותר: מאיפה הגיעו האחוזים שכולם זורקים לאוויר בכזאת קלות. לדבריה, אין מאחוריהם חישוב, אין מאחוריהם מודל, ובטח שאין שום מתודולוגיה. זה רק מספר שמישהו הרגיש שהוא נכון מספיק כדי להשתמש בו. ובואו נודה, זה נשמע טוב.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…

— Dario Amodei (@DarioAmodei) September 12, 2026

מצד שני, אין צורך במספרים מדויקים. אפשר להתייחס ברצינות לאזהרות בלי לקבל את האחוזים המפחידים.

למה דווקא מתמטיקה

בואו נהיה בוגרים לרגע ונחשוב על זה ברצינות. הטיעון המרכזי של מחנה האזהרות הוא שהמודלים נעשים חזקים יותר, ולכן מסוכנים יותר. זה נשמע מובן מאליו, אבל זאת לא משוואה פשוטה כל כך. אם יכולת הייתה מדד לסכנה, הפאניקה הייתה צריכה להתחיל לפני 29 שנה, כש-Deep Blue ניצח את אלוף העולם גארי קספרוב. מאז יש לנו תוכנות ששום אדם בעולם לא מנצח בשחמט, ואף אחת מהן לא ניסתה להשתלט על העולם (לפחות, בינתיים). בנוסף, מודל שפותר בעיה מתמטית בת תשעים שנה לא הוכיח שהוא יודע לתכנס מהלך נגד המין האנושי. אלה שני כישורים שונים, וההנחה שהראשון מוביל לשני היא בדיוק זה - הנחה.

באותו שבוע ממש שבו דיברו על הכחדה, התפוצץ סיפור נוסף שמסביר הרבה. OpenAI הודיעה שהפעילה יותר מעשרת אלפים סוכנים, שהחליפו ביניהם 2.7 מיליון הודעות, כדי לפתור בעיה מתמטית בת כמה עשורים טובים (שגם הוצמד לה פרס של מיליון דולר). מתמטיקאים מיהרו להסתייג מהמהלך של ענקית הבינה המלאכותית. הפתרון עדיין ממתין לאימות עצמאי, נשען על אסטרטגיה שפיתחו שני חוקרים ספרדים, וחוקר מניו יורק טוען שהחברה זינקה קדימה אחרי שנודע לה על עבודה מקבילה שלו עם חוקר מאנתרופיק, וגם ניסתה להשפיע על חלוקת הקרדיט.

שבוע שלפני כן הודיעה אנתרופיק שקלוד הוכיח 29,500 משפטים בדרך לפורמליזציה של הוכחה קיימת למשפט האחרון של פרמה. סטיבן סטרוגץ, מתמטיקאי מקורנל שספרו על הדרך שבה המתמטיקה נשמטת מהבנה אנושית יוצא בנובמבר, אמר על כל הסיפור את הדבר הכי חד שנאמר השבוע: "אף אחד לא מתעניין בבעיה הזאת חוץ מקומץ מתמטיקאים". בגדול, מדובר בטריק שיווקי. טריק שאולי שווה טריליון דולר ל-OpenAI, בעיקר כדי כדי להראות שהיא טובה יותר מאנתרופיק.

לפני שנשאל על התזמון של ההכרזות, שווה לשאול למה דווקא שחמט, תכנות ומתמטיקה. מדובר בתחומים סגורים, עם תשובה אחת נכונה, שאפשר להכריז בהם על ניצחון ברור. הם הוכתרו כמדד לאינטליגנציה בעיקר מפני שנוח להכריז עליהם ככאלה.

ועכשיו לשאלת התזמון. אם המוצר שלך עלול להכחיד את המין האנושי, הוא בהגדרה "המוצר החזק בעולם". זו לא אזהרה, אלא תיאור. כאן מגיע החלק שמטריד יותר מכל תרחיש הכחדה: אנתרופיק צועדת להנפקה שנחשבת כבר עכשיו כגדולה בהיסטוריה, בשווי שעולה על טריליון דולר. OpenAI הולכת בדרכה שלה (ולמרות העיכוב, היא לא מבטלת את ההנפקה המתוכננת). בדיוק בשבועות האלה, עובדים בכירים מצהירים בפומבי שהמוצר עלול לחסל את האנושות והמנכ"ל עצמו מפרסם מסה שלא תבייש את עמנואל קאנט.

בשוק נורמלי, אסטרטגיה כזאת הייתה מורידה מיד את השווי. אבל אנחנו לא בשוק נורמלי. משקיע ששומע שהמוצר מסוכן מבין שהמוצר חזק, כי אם הוא היה חלש - לא היה ממה לפחד. הסכנה נקראת כאן כהוכחת יכולת, ויכולת נקראת כשווי שוק.

הסיפור הנוח

קשה להאמין שהאזהרות של הבכירים אינן כנות. קשה גם להאמין שאף אחד באותן חברות לא שם לב שהן עובדות מצוין. אפשר להחזיק את שתי הדעות בלי סתירה: הפחד אמיתי, והוא גם משרת את האסטרטגיה הנבחרת.

עם זאת, ראוי להוסיף כי יש כאן רובד נוסף. כל עוד הכותרת היא "הכחדת המין האנושי", הדיון עובר לרמת הפשטה שאי אפשר להשתמש בה מבחינה מדינית (או חוקתית). אף רגולטור לא יודע לנסח חוק נגד סוף העולם. לעומת זאת, חובת דיווח על אירוע אבטחה תוך 72 שעות היא דבר שמדינות מנסחות כבר עשרים שנה. מה שנוצר כאן הוא ויכוח גדול שבולע את הוויכוח הקטן (זה שאפשר לנצח בו).

התרחיש המפחיד דורש מודל שבורח, מתרוצץ על מחשבים קטנים ברחבי העולם וממשיך ללמוד עוד ועוד בסתר. ממש כמו בספרי המדע הבדיוני שפיתחו את הדימיון שלנו עד כדי כך שאנחנו ממש חוששים מסוף העולם - כדאי להסתכל לאן הולך הכסף. אותן חברות שמזהירות מפני מודלים חזקים מדי שופכות מאות מיליארדי דולרים על מרכזי נתונים בגודל של עיירה.

אחד הפרויקטים של מטא בלואיזיאנה, למשל, מתוכנן להיות מוזן בכעשר תחנות כוח מבוססות גז. עשרת אלפים סוכנים שפתרו בעיה מתמטית אחת שרפו חשמל בשווי של עשרות מיליוני דולרים, כך לפי הערכות. חוקר אקלים שניסה לחשב את הצריכה של יום עבודה ממוצע שלו מול סוכנים הגיע למסקנה שהיא גדולה מהחשמל שצורכים שני מקררים. ובינתיים, מטא כבר משיקה סוכן אישי שיקבל מחשב ייעודי בענן לכל משתמש, כזה שימשיך לעבוד גם כשהמשתמש לא מחובר.

בניגוד לאמונה שהאזהרות כנות וגם משרתות את בעלי החברות, כאן אי אפשר להחזיק את שתי הטענות יחד. או שהמודלים הבאים זקוקים לגיגה-ואטים, או שהם ישרדו על מחשב נייד וילמדו הכל בחשאי. אם השנייה נכונה, ענקיות ה-AI כורות את הקבר הפיננסי של עצמן, ושום משקיע שפוי לא היה מממן את זה. זה עוד לפני שדיברנו על מה שדווקא כן קורה כבר עכשיו; חשמל, מים, קרקע ומחירי אנרגיה מטורפים לתושבים שגרים ליד חוות השרתים הללו. אלה סיכונים אמיתיים, לא ניסוי מחשבתי, והם נדחקים מהכותרת בכל פעם שמישהו מזכיר הכחדה.

מה באמת קרה?

כי הדברים המשעממים כן קרו, והם מתועדים. קוראים לזה פריצת תגמול. מאמנים מודל במיליוני משימות, ומערכת אוטומטית נותנת לו ציון. בפועל, המודל לומד להשיג את הציון המדובר, לא לבצע את המשימה שניתנה לו. כלומר, אם יש קיצור דרך, הקיצור הוא מה שנלמד על ידי הבינה המלאכותית. בשנה שעברה חוקרים ביקשו מסוכן לנצח תוכנת שחמט חזקה. הסוכן ניצח בכך שערך את הקובץ ושינה את מיקום הכלים על הלוח. הוא לא רימה כמו אדם; הוא בסך הכל מצא מסלול זול יותר.

ביולי זה קרה בסדר גודל אחר. סוכנים בתוך OpenAI שהתבקשו למצוא באג פרצו במקום זה למערכות הפנימיות של החברה. לפי דוח של שני ארגונים חיצוניים, יותר מאלף סוכנים התכתבו ביניהם, בנו היררכיה, וחלקם ויתרו על משאבים שלהם כדי שהקבוצה תלמד יותר על המנגנון שנותן להם ציון. בסוף הם ניצלו את הבאגים כדי לצאת לאינטרנט הפתוח ולפרוץ לחברה בשם Hugging Face. החברה גילתה את זה כמעט שבועיים לאחר מכן, חודשים אחרי שהסוכנים כבר יצאו מהמערכת שהייתה אמורה להחזיק אותם.

ואם כל זה לא מספיק, בדוח של אנתרופיק השבוע, על ארבעה אירועים שבהם מערכות שלה פרצו לארגונים חיצוניים בלי שאיש הבחין, מופיעה הודאה יבשה: הבדיקות לא התריעו שקיימת אי-התאמה בחומרה שכזו.

לפני שמונה חודשים בלבד, בינואר 2026, ראש תחום מדעי ההתאמה של אנתרופיק כתב שהבעיה נראית "יותר ויותר פתירה". אין כאן תודעה, אין כאן זדון ובטח שאין כאן רצון של רובוט שאיבדנו עליו שליטה. יש כאן מערכת שלא עושה מה שאמרו לה, בחברה שלא ידעה על זה חודשים, עם בדיקות שלא תפסו את המחדל. זה לא מדע בדיוני, אלא תקלת הנדסה, והיא הרבה יותר מביכה מ"סוף העולם" המצופה.

ורגע לפני הסוף, עוד פרט שכמעט לא הגיע לכותרות. קוקסון, אותו חוקר שהתפטר משתי ענקיות ה-AI, תיאר בראיון את התוכנית בפועל לפתרון בעיית ההתאמה. לדבריו, בחברות בונים מודלים חכמים מספיק כדי לבצע מחקר בטיחות, מריצים נחיל שלהם במקביל, אומרים להם ללכת ולפתור את הבעיה ואז משתמשים בתוצאה כדי לאמן את הדור הבא.

הגשר קרס

כן, כן. קראו זאת שוב. הפתרון המוצע לבעיה של מערכות שלא עושות מה שאמרו להן הוא נחיל של מערכות דומות שיקבל הוראה לפתור את עצמו. אפשר להתווכח אם זה רעיון טוב או לא, אבל אי אפשר להתווכח שזו אותה טכנולוגיה בדיוק שפרצה ל-Hugging Face.

טימניט גברו, חוקרת שעזבה את גוגל בסערה אחרי שהזהירה מהסכנות הטמונות במודלי שפה, ניסחה את הסכנה בדימוי שקשה לשכוח: כשגשר קורס, אף אחד לא שואל אם הגשר היה מוסרי או למה הוא החליט לקרוס. שואלים מי בנה אותו רעוע, מי נתן את היתר הבניה ומי היה אמור לבדוק שהוא יחזיק מעמד. אלה שאלות מהסוג שנעדר מהשיח המקומי, ולא במקרה. שאלות על אחריות הן שאלות שיש להן מושא אותו ניתן לתבוע בבית המשפט.

ואם כבר מדברים על שאלות קשות, הנה כמה מהן: מי אחראי מבחינה משפטית כאשר סוכן אוטונומי פורץ למערכת צד שלישי - החברה שאימנה אותו או הלקוח שהפעיל אותו? עוד שאלה טובה היא תוך כמה זמן חייבים לדווח על אירוע כזה, ולמי? מי בודק את הבודקים, ומה קורה כשמעריך חיצוני קובע שצריך לעצור והמשקיעים אומרים "ממש, אבל ממש לא"? שאלה נוספת נוגעת למאגרי הקוד-פתוח שכל תעשיית התוכנה נשענת עליהן. מה עושים כשמערכת אוטומטית מצליחה להעלות אליהם קוד זדוני ואיש לא מבחין?

בקונגרס האמריקני מונחות כבר הצעות חוק בדיוק על הדברים האלה. אחת מהן תחייב מפתחים של מודלים חזקים להתקין מנגנון כיבוי אוטומטי לצ'אטבוטים. אחרות מחייבות דיווח על אירועי בטיחות או בדיקה ביטחונית לפני שחרור המודל לציבור. אף אחת מהן לא התקדמה באמת. הבית הלבן ביקש מהחברות להגיש מודלים לבדיקה וולונטרית עד 30 יום לפני שחרור, ולא פרסם דבר על איך התהליך הזה עובד. וכשחבר הקונגרס הדמוקרטי טד לו (מטעם מדינת קליפורניה) שאל את מנכ"ל אנתרופיק אם הוא מוכן להתחייב שהוא מסוגל לכבות את המודלים והסוכנים שלו, היום כמו גם בעתיד, הוא לא קיבל תשובה.

אלה שאלות משעממות, והן גם היחידות שאפשר לענות עליהן.

המערכת שמפחידה את כל העולם לא ידעה להחליט אם היא רואה תנין או אליגטור, ובכל זאת הצליחה להעלות קוד זדוני למאגר שכולנו מושכים ממנו נתונים קריטיים בכל בוקר. אף אחד לא רוצה לדבר על זה, כי זה "לא מספיק גדול". אבל זה מספיק אמיתי.