GPT-5 בצרות: הפרויקט היוקרתי מתעכב - ולא מצדיק את העלויות
מיזם הבינה המלאכותית השאפתני של OpenAI נתקל בבעיות טכניות ובמחסור בנתונים איכותיים • עלויות המחשוב בלבד לסבב אימון אחד מגיעות לכחצי מיליארד דולר
Your browser doesn’t support HTML5 audio
![[object Object]](/wp-content/uploads/2024/05/15/06/whatsapp-israelhayom-m-150-.gif)
פרויקט GPT-5, שאמור להיות הדור הבא והשאפתני ביותר של ChatGPT, נמצא בפיתוח כבר יותר מ-18 חודשים. מיקרוסופט, השותפה והמשקיעה הגדולה ביותר של OpenAI, ציפתה לראות את המודל החדש סביב אמצע 2024, אך התוכניות השתבשו - כךמדווח ה"וול סטריט ג'ורנל".
גורמים המעורים בפרטים מסרו לעיתון כי החברה ערכה לפחות שני סבבי אימון מקיפים, שכל אחד מהם נמשך חודשים ועלותו מוערכת בכחצי מיליארד דולר בעלויות מחשוב בלבד. בכל פעם צצו בעיות חדשות והתוכנהלא השיגה את התוצאות המקוות. במקרה הטוב, המודל החדש מתפקד טוב יותר מהמודלים הקיימים של OpenAI, אך לא מספיק כדי להצדיק את העלויות העצומות.
האתגר: מחסור במידע איכותי
המשבר ב-OpenAI מגיע בתקופה קריטית עבור תעשיית הבינה המלאכותית. על פי הערכות אנליסטים, ענקיות הטכנולוגיה עשויות להשקיע טריליון דולר בפרויקטי בינה מלאכותית בשנים הקרובות. הציפיות מהפרויקט של GPT-5, שזכה לשם הקוד "אוריון", היו עצומות. שווי השוק של OpenAI, שהוערך באוקטובר ב-157 מיליארד דולר, מבוסס במידה רבה על הבטחתו של המנכ"ל סם אלטמן כי GPT-5 יהווה "קפיצת דרך משמעותית" במגוון תחומים ומשימות.
לדברי בכיר לשעבר ב-OpenAI, בעוד ש-GPT-4 תפקד ברמה של תלמיד תיכון מוכשר, הציפייה הייתה ש-GPT-5 יתפקד ברמת דוקטורט במשימות מסוימות. אולם החברה נתקלה בבעיה מהותית: מחסור בנתונים איכותיים. האינטרנט לא מספק די מידע באיכות הנדרשת.
"זה נהיה מאוד יקר וקשה למצוא עוד מידע באיכות גבוהה", הסביר ארי מורקוס, מנכ"ל DatologyAI. בתור פתרון, החברה החלה לשכור אנשי מקצוע, כולל מהנדסי תוכנה ומתמטיקאים, כדי ליצור קוד ולפתור בעיות מתמטיות שישמשו לאימון המודל. "אנחנו מעבירים אינטליגנציה אנושית ממוחות אנושיים למוחות מכונה," הסביר ג'ונתן סידהארת', מנכ"ל ומייסד-שותף של Turing, חברת תשתיות בינה מלאכותית העובדת עם OpenAI.
חיפוש אחר פתרונות חדשים
הקשיים בפיתוח "אוריון" הובילו את החוקרים ב-OpenAI לגישה חדשה: התמקדות בחשיבה והנמקה. החברה פיתחה מודל בשם o1, המסוגל להציע מספר תשובות לכל שאלה ולנתח אותן כדי למצוא את התשובה הטובה ביותר.
נועם בראון, מדען מחקר בכיר ב-OpenAI, הדגים את יתרונות הגישה החדשה: "התברר שלתת לבוט לחשוב במשך 20 שניות במהלך משחק פוקר שיפר את ביצועיו באופן הזהה להגדלת המודל פי 100 אלף והארכת זמן האימון פי 100 אלף".
אולם גם גישה זו מעלה אתגרים חדשים. חוקרים מאפל פרסמו לאחרונה מחקר המצביע על "ירידות קטסטרופליות בביצועים" כאשר שאלות שונו כך שכללו פרטים לא רלוונטיים.
בנובמבר האחרון הודיע אלטמן כי החברה לא תשחרר שום דבר בשם GPT-5 במהלך 2024. השאלה הגדולה שנותרת פתוחה היא האם גישת "יותר זה יותר" (more-is-more strategy), שהובילה את ההצלחות הקודמות של החברה, מיצתה את עצמה. כפי שאמר לאחרונה איליה סוצקבר, המדען הראשי לשעבר של החברה, בכנס AI: "מידע הוא הדלק המאובן של הבינה המלאכותית". האם הדלק הזה עומד להיגמר?
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו