ההימור הגדול של צוקרברג: מטא משיקה את ה-AI Muse Glimmer

מעבדת Meta Superintelligence Labs, הזרוע המתקדמת של ענקית הטכנולוגיה, הודיעה היום (שני) על השקתו של Muse Glimmer, מודל בינה מלאכותית אוטונומי מסוג "סוכן", המיועד להרצה ישירה ומקומית על מכשירי קצה. הצעד הדרמטי, המלווה בשחרור משקולות המודל בקוד פתוח (תחת רישיון Apache 2.0), מסמן מעבר אסטרטגי של מטה לעבר ביזור הבינה המלאכותית והנגשתה לכל משתמש, ללא תלות בענן או בחיבור לאינטרנט.

Muse Glimmer הוא מודל קומפקטי בעל 30 מיליארד פרמטרים, שעבר אופטימיזציה מיוחדת לעבודת סוכנים אוטונומית מתמשכת. הוא קטן מספיק כדי לרוץ על מחשב אישי בעל כרטיס גרפי צרכני בודד, ומאפשר מגוון רחב של שימושים: החל מניהול לוחות זמנים והודעות, דרך כתיבת קוד ודיבאגינג מקומי, ועד להערכת מודלים אחרים. המודל מציג ביצועים חזקים במבחני ביצועים מרכזיים של עבודת סוכנים בהשוואה למודלים מובילים בקטגוריית הגודל שלו.

"במקום לרכז את סופר-האינטליגנציה, עלינו לבזר אותה באופן נרחב ולתת לכל אדם את היכולת לכוון אותה", אמר צוקרברג. 

הנדסה של ביצועים מקומיים

אימון סוכן AI המסוגל לנהל משימות מורכבות, כגון ניסוח הודעות, ארגון קבצים ולמידת דפוסי עבודה אישיים, דורש גישה מעמיקה להקשר האישי של המשתמש. הוא זקוק לשילוב של יכולות: ביצוע משימות ארוכות טווח, קריאה מדויקת לכלים, הבנה מולטי-מודאלית (שילוב טקסט ותמונה), זיכרון ארוך-טווח, וקיום הוראות מדויק.

כדי לאזן בין יכולות אלו לבין מגבלות הזיכרון והעיבוד של חומרת קצה מקומית, מטה פיתחה ארכיטקטורה קומפקטית ושיטת "זיקוק" חדשנית, המעבירה יכולות reasoning של סוכנים אוטונומיים ממודל "מורה" ענק למודל ה"תלמיד" הקטן. תהליך האימון כלל שלושה שלבים:

• שלב קדם-אימון: אימון המודל על התפוקות של Muse Spark באמצעות logit distillation.

• שלב אמצע-אימון: אימון על נתונים בעלי הקשר ארוך-טווח, הממוקדים בעבודת סוכנים, עם עקבות עשירים.

• שלב פוסט-אימון: שילוב של כוונון עדין מונחה עם זיקוק פוליסי ולמידת חיזוקים על פני דמיינים כלליים, כתיבת קוד ועבודת סוכנים.

מה Muse Glimmer מסוגל לעשות?

בניית סוכנים אפקטיביים דורשת שילוב של יכולות מפתח. Muse Glimmer השיג שיעורי הצלחה חזקים במבחני ביצועים מלאים, המודדים את יכולתו לעבוד בתוך מסגרותD, לכתוב ולדבג קוד, ולפתור בקשות רב-שלביות מהתחלה ועד הסוף. בנוסף, המודל מטפל במגוון רחב של קריאות לפונקציות, תוך זימון כלים עם סכמות מדויקות לאורך תהליכי עבודה מורכבים.

Muse Glimmer מסוגל לשרשר reasoning על פני טווחים ארוכים, ולשמור על תוכניות עבודה עקביות ומורכבות. כמו כן, המודל אומן לאבחן שגיאות כאשר כלי נכשל או מחזיר תוצאה לא צפויה, ולנסות שוב - במקום לעצור. המודל מקבל קלט משולב של טקסט ותמונות, המאפשר לסוכנים לפרש צילומי מסך, גרפים ומסמכים לצד השיחה.

אופטימיזציה להרצה מקומית

סוכן מקומי הוא שימושי באמת רק אם הוא מהיר מספיק כדי להרגיש רספונסיבי. סוכן שלוקח לו דקות לענות או לתכנן את הצעד הבא שלו שובר את זרימת העבודה האמיתית. מטה יישמה שתי אופטימיזציות מרכזיות כדי לגרום ל-Muse Glimmer לרוץ במהירויות מעשיות על חומרת קצה צרכנית, מבלי להקריב את האיכות.

בדיוק מלא, מודל בעל 30 מיליארד פרמטרים ידרוש יותר מ-55 גיגה-בייט של זיכרון - הרבה יותר ממה שכל כרטיס גרפי צרכני מציע. מטה משתמשת בטכניקות קוונטיזציה כדי לדחוס את משקולות המודל לרמת דיוק של 4-ביט, ובכך לצמצם את גודלו לפחות מ-20 גיגה-בייט. זה משאיר מספיק מרווח לזיכרון העבודה של המודל, למעבד התפיסה להבנת תמונות, ולמודל ה-Drafter לטובת speculative decoding, כדי שירוצו במקביל בתוך מעטפת זיכרון של 24 גיגה-בייט או 32 ג'יגה-בייט.

מטא אימתה שדחיסה זו מובילה לירידה מינימלית עד אפסית בביצועים של משימות סוכנים.

מודלי שפה יוצרים טקסט באופן רגיל תו אחר תו, דבר שיכול להרגיש איטי במהלך שרשראות reasoning ארוכות או קריאות רב-שלביות לכלים. Muse Glimmer מגיע עם מודל "drafter" קל משקל, המבוסס על DFlash - רשת חלופית קטנה המציעה בלוקים שלמים של תווים בבת אחת.

המודל הראשי מאמת את ההצעות האלו במקביל, מקבל תווים נכונים ומתקן טעויות. טכניקה זו מאפשרת ל-Muse Glimmer ליצור טקסט במהירות גבוהה משמעותית מיצירה סטנדרטית תו אחר תו, תוך הפקת פלט באיכות זהה. מטה מספקת גרסאות drafter מכווצות כדי להפחית את צריכת הזיכרון הנוספת.

המטרה של מטה היא להבטיח ש"לכל אדם תהיה היכולת לכוון סוכן אישי בעל יכולות יוצאות דופן שמבין אותך, את המטרות שלך, ואת כל מה שחשוב לך". שחרור Muse Glimmer בקוד פתוח הוא צעד משמעותי לעבר הגשמת החזון הזה, המאפשר למפתחים ולמשתמשים לבנות פתרונות AI מותאמים אישית, מאובטחים ופרטיים, ישירות על המכשירים שלהם.

מטא גם פועלת בשיתוף פעולה עם שותפים כולל AMD, Arm, Dell, אינטל, ואנבידיה כדי למקסם את הביצועים של המודל על פני מגוון מכשירים