החברה הישראלית AI21, שנוסדה על ידי פרופ' אמנון שעשוע, פרופ' יואב שוהם ואורי גושן, וגייסה עד היום מעל 336 מיליון דולר, הכריזה היום (רביעי) על השקת Jamba Reasoning 3B, מודל בינה מלאכותית זעיר שמסוגל לפעול על מכשירי קצה כמו מחשבים ניידים וטלפונים חכמים ללא צורך בחיבור לאינטרנט.
המודל, שפותח בקוד פתוח, מציג ביצועים גבוהים במשימות הסקת מסקנות, מתמטיקה וניתוח קוד, ופועל מהר פי 4-2 ממודלים מתחרים במכשירים אלו. הוא זמין לשימוש דרך פלטפורמות כמו Hugging Face, Kaggle ו-Ollama.
35 טוקנים לשנייה
המונח "מודל זעיר" מתייחס לגודל המודל - 3 מיליארד פרמטרים, לעומת מודלים גדולים שמכילים עשרות או מאות מיליארדי פרמטרים. פרמטרים הם המשתנים שהמודל לומד במהלך האימון שלו, והם קובעים את יכולותיו. מודלים קטנים יותר דורשים פחות כוח עיבוד וזיכרון, מה שמאפשר להריץ אותם על מכשירים אישיים.
בבדיקות שנערכו על מחשב מקבוק פרו סטנדרטי, המודל הישראלי עיבד 35 טוקנים לשנייה (טוקן הוא יחידת טקסט כמו מילה או חלק ממילה) עם קונטקסט של 32 אלף טוקנים, לעומת 15-8 טוקנים לשנייה במודלים זעירים מתחרים.
בנוסף, המודל שבר את שיא אורך הקונטקסט בקטגוריה זו - מעל 250 אלף טוקנים, לעומת 128 אלף במודלים כמו Llama 3.2-3B ו-Phi-4 Mini.
היכולת לעבוד עם קונטקסט ארוך חשובה במיוחד למשימות כמו ניתוח מסמכים ארוכים, קריאה למספר מקורות מידע בו-זמנית, או ניתוח קוד מורכב. על פי AI21, המודל מתאים במיוחד למשימות הדורשות עיבוד מקומי על המכשיר, ללא צורך בשליחת נתונים לענן.
בניית ארכיטקטורות היברידיות
לדברי החברה, היעילות של המודל נובעת מארכיטקטורת Jamba של AI21, שמשלבת שני סוגים של שכבות חישוב: טרנספורמרים (מודלי למידה עמוקה), שעליהם מבוססים רוב מודלי השפה כיום, יחד עם טכנולוגיה בשם Mamba State Space. השילוב הזה מפחית את צריכת הזיכרון פי 10 בהשוואה לארכיטקטורה המבוססת רק על טרנספורמרים, תוך שמירה על ביצועים גבוהים.
אחד היישומים המעניינים של המודל הוא בניית ארכיטקטורות היברידיות - מערכות שמנתבות משימות פשוטות למודלים יעילים על המכשיר עצמו, ושומרות את המשאבים היקרים בענן למשימות מורכבות. לפי החברה, גישה כזו עשויה לחסוך פי 10-30 בעלויות תשתיות הבינה המלאכותית.
"הפוטנציאל של מודלים זעירים הוא עצום - Jamba Reasoning 3B הוא השלב הראשון של מימוש היכולות האמיתיות שלהם", אמר אורי גושן, מנכ"ל שותף ומייסד שותף ב-AI21. "יכולות היסק במכשירי קצה, היכולת להתאים את המודל למשימות ספציפיות, והפוטנציאל בארכיטכטורת ענן-קצה היברידית - כולם מקדמים אותנו ל-AI יעיל וזריז יותר".
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו