לפני שרובוט דמוי אדם יוכל לפתוח דלת בבית מבלי לשבור את המפתח בתוך המנעול, להרים כוס בלי לנפץ אותה או לעבור במעבר חצייה מבלי להפתיע נהג - הוא צריך להתאמן. הרבה. כך, למשל, לפני שרובוט שעובד במפעל יידע להגיב לבורג שנפל מהמסוע או לרובוט אחר שהאט בפתאומיות במסלול העבודה - הוא חייב להתנסות שוב ושוב, באלפי תרחישים שלא נרצה לעולם לבדוק במחיצת בני אדם.
את כל זה הוא עושה במקום אחד: הסימולטור. עולם הסימולציה של אנבידיה, ה-Omniverse, הוא הסביבה שבה רובוטים "נולדים". זהו מעין גן ילדים קוגניטיבי, שבו רובוטים דמויי אדם (הומנואידים) לומדים ללכת, לפעול, להבין, להגיב, ליפול ולקום. בדיוק כפי שתינוק מפתח יכולות מוטוריות וקוגניטיביות מצטברות, הרובוט לומד בתוך עולם מלאכותי שפועל לפי חוקי הפיזיקה של העולם האמיתי.
בסימולטור מייצרים עבורו אלפי וריאציות של מצבים: כוס שנופלת בזווית אחרת, מדרגה מעט גבוהה יותר, תאורה חלשה, אדם שעובר מהר מדי בקו התנועה - כדי ללמד אותו להגיב לכמה שיותר תרחישים.
"אם אנחנו רוצים לבנות בינה שמבינה את העולם הפיזיקלי ופועלת בתוכו, אנחנו צריכים ללמד אותה בעולם שמספיק דומה למציאות כדי שהיא תוכל לתפקד בתוכה, בצורה בטוחה, יעילה ומבוקרת", אומר רב לברדיאן (Rev Lebaredian), סמנכ"ל (VP) טכנולוגיות סימולציה ו-Omniverse באנבידיה, בשיחה מיוחדת עם "היום".
"רגע מכונן במסע"
לברדיאן הגיע לאנבידיה ב-2002 מתעשיית הקולנוע. בתחילת דרכו עבד בבתי הפקה כמו דיסני והאחים וורנר, ולאחר מכן הקים סטארטאפ שפיתח טכנולוגיות מתקדמות לרינדור. בקולנוע, תהליך הרינדור הוא זה שהופך גרפיקה גולמית לתמונה מציאותית שנראית כאילו צולמה במצלמה - תהליך שבתחילת שנות ה-2000 היה איטי ותובעני במיוחד, ולעיתים דרש שעות חישוב לכל פריים בודד.
במסגרת עבודתו, היה שותף ליצירת האפקטים בסרטים כמו "ארמגדון", "אקס-מן", "כל הפחדים כולם, וגם בסרט "Mighty Joe Young" של דיסני, סרט שהיה מועמד לאוסקר על אפקטים בזכות דמות הגורילה הדיגיטלית שעמדה במרכז העלילה.
בתחילת שנות ה-2000 אנבידיה הייתה בעיקר יצרנית שבבי גיימינג, רחוק מאוד מהענקית ה-AI של ימינו ששווה כ-5 טריליון דולר. לברדיאן הצטרף בדיוק ברגע שבו מוצר הדגל של אנבידיה, המעבד הגרפי (GPU), החל להשתנות, והוא ליווה את החברה מעידן משחקי המחשב המגורענים של תחילת שנות האלפיים ועד למהפכת ה-AI של ימינו, המשנה את העולם בהילוך מהיר.
"הצטרפתי לאנבידיה ברגע מכונן במסע שלה, בדיוק כשהשקנו את האפשרות לתכנת צללים ישירות על גבי המעבד הגרפי. זה האיץ משמעותית את יכולות הרינדור, אבל חשוב מכך: זה היה הרגע שבו ה-GPU נפתח לראשונה לתכנות חופשי. עבדתי אז על שפת התכנות הראשונה למעבדים גרפיים, CG, שהפכה ללבנה הראשונה בדרך ל-CUDA, השפה ששולטת כיום בעולם המחשוב המקבילי", הוא מספר.
כיום, כמי שעומד בראש חטיבת הסימולציה בחברה - Omniverse, לברדיאן הוא אחד מקומץ המנהלים הבכירים שמובילים את תחום הסימולציה והבינה הפיזית בחברה. אנבידיה מאמינה כי התחום הזה צפוי להניע את המהפכה הטכנולוגית הגדולה הבאה, זו שתביא את הבינה המלאכותית אל המרחב הפיזי של חיי היומיום. במהפכה הזאת, לחטיבה שלברדיאן עומד בראשה יהיה אחד התפקידים המשמעותיים ביותר.
"המנכ"ל והמייסד של אנבידיה, ג’נסן הואנג, אמר כבר לפני שנים שהאלגוריתמים החשובים ביותר יהיו אלה שמבינים את העולם הפיזיקלי ויכולים גם להשפיע עליו", אומר לברדיאן.
מהבנת שפה להבנת עולם
אותם אלגוריתמים שעליהם דיבר בזמנו הואנג, מתממשים כיום בתחום חדש בעולם הבינה המלאכותית: מודל עולם (World Model). כמו שמודל שפה לומד מתוך מיליארדי משפטים לנבא איזו מילה תבוא אחריה בסבירות הגבוהה ביותר, וכך בעצם להבין שפה, משמעות והקשר - מודל עולם לומד לנבא מה הדבר הבא שיקרה בעולם הפיזיקלי. כלור, כיצד עצם ינוע, איך כוח ישפיע, מה יקרה אם דלת תיפתח מהר מדי, או לאן יתגלגל חפץ שהונח בזווית כזאת או אחרת.
"מודל עולם הוא הבסיס המרכזי של המהפכה הבאה: הבינה הפיזית, כלומר, AI שמבינה לא רק מילים, אלא את היקום", מסביר לברדיאן. לדבריו, זה מודל סטטיסטי שמפתח הבנה הסתברותית של מציאות דינמית, לא של טקסט. מודל זה יהיה למעשה "המוח" של הרובוט, שיפענח את המידע הוויזואלי של הסביבה ויידע כיצד לפעול, לאן לפנות כדי להתחמק מהמכשול ואיזה כוח להפעיל כדי לשבור ביצה בהכנת חביתה, למשל.
אבל כדי לעשות זאת הוא זקוק לדאטה מסוג שלא קיים באינטרנט. לא מילים, אלא חומר, תנועה, תאוצה, חיכוך, אור, טמפרטורה, אינטראקציות, סביבות אנושיות ותשתיות פיזיות. תהליך האימון דומה עקרונית לזה של מודלי שפה - למידה מתוך אינספור דוגמאות וסיטואציות - רק שכאן הדוגמאות חייבות להגיע מהעולם הפיזיקלי עצמו.
“הבעיה הגדולה של בינה פיזיקלית", מסביר לברדיאן, "היא שאין לנו ארכיון דיגיטלי של הפיזיקה. צריך לתפוס אותה מהמציאות - וזה יקר, מסוכן ומוגבל. הפתרון הוא לייצר את המציאות מחדש בסימולציה, ואז להפיק ממנה דאטה סינתטית".
לפי לברדיאן, עולם הסימולציה של אנבידיה אינו סתם מודל תלת-ממדי. הוא מנוע של חוקי טבע. עיר שבה כל פנס, מדרכה, מכונית וענף עץ מקודדים כך שיתנהגו כמו במציאות. בסביבה זו, רובוט יכול לצעוד אלפי שנים מדומות בזמן קצר, לצבור ניסיון שלא ייתכן בעולם האמיתי.
לשחרר את "הג'יני" מה-GPU
כדי להבין את תפקידה של אנבידיה במהפכת ה-AI, ואת גודל המשימה שהחברה הניחה על כתפיו של לברדיאן, צריך לחזור לתחילת הסיפור - ולהתחקות אחר התפתחותו של אחד הרכיבים המשפיעים ביותר של העשורים האחרונים: המעבד הגרפי.
התפתחות זו לא הסתכמה בעלייה הדרגתית בביצועים. מדובר באבולוציה עמוקה, שבה כל דור חדש של GPU שינה את טבעו של המחשב עצמו. עד כדי כך, שיש מי שסבורים כי ללא אנבידיה, לא רק שמודל שפה גדול לא היה פועל בקצב הנדרש, אלא ייתכן שבעצם לא היינו מדמיינים את עצם האפשרות הזאת.
מודלי שפה, מודלי עולם ורובוטיקה מתקדמת ניזונים כולם מכוח חישוב מקבילי עצום, כזה שהיה צריך להיוולד לפני שהמחשבה התיאורטית עליהם הפכה לאפשרית. לפני 20 שנה, ה-GPU היה יחידה גרפית ייעודית שמטרתה להאיץ משחקי מחשב. הוא תוכנן כ"מכונת ציור", כזאת שמקבלת סדרה של פקודות קבועות שמגדירות כיצד אובייקט תלת-ממדי אמור להיראות על המסך. כל השלבים היו קשיחים: איך אור נופל, איך השתקפות נוצרת, האם חומר הוא מבריק או מט. המעבד ידע לבצע את המשימות הללו במהירות, אבל לא היה בו דבר מעבר לכך.
"בתחילת שנות האלפיים הכול היה מאוד פשוט ומוגבל", משחזר לברדיאן. "לא היה אפשר לכתוב קוד משלך. הביצועים היו גבוהים, אבל הגמישות לא הייתה קיימת". לדבריו, המהפכה המשמעותית הראשונה בתחום התרחשה כאשר אנבידיה פתחה את שלב ההצללה לתכנות. במקום מודלים מובנים, מפתחים יכלו לכתוב פונקציות משלהם, לייצר מחדש את חוקי האור והחומר, ולבנות את העולמות הגרפיים כפי שהם מדמיינים אותם. השינוי נראה אז כפריצת דרך עבור עולם הגיימינג בלבד, אך בפועל הוא שחרר את ה-GPU מהמגבלות ההנדסיות הראשונות שלו.
מכונת הציור הפכה למכונה שמבינה מעט יותר את האופן שבו העולם מתנהג. החומרה חדלה להיות קופסה שחורה והפכה לפלטפורמה פתוחה. זה הרגע שבו נטמן הזרע שהפך בהמשך לפלטפורמת-על של חישוב.
"אני כבר 23 שנים באנבידיה", אומר לברדיאן, "וכמעט במשך כל התקופה הזאת החברה עסקה בשאלה מה עוד ה-GPU יכול להיות מעבר למה שתוכנן עבורו".
"הרבה מעבר למה שדמיינו"
לברדיאן מספר שככל שתוכניות ההצללה ("שיידרים") הפכו גמישות יותר, עוד ועוד מפתחים זיהו בתוך ה-GPU פוטנציאל שחרג הרבה מעבר לגרפיקה. כך, למשל, חוקרים באקדמיה החלו להשתמש במעבד הגרפי לחישובי פיזיקה - הם לקחו את אותה פונקציית הצללה שמחשבת אור והפכו אותה לפונקציה שמחשבת זרימת אוויר, תנועת מים או דינמיקה של חלקיקים. המהות של המעבד הגרפי, כמחשב בעל יכולות עוצמתיות של חישוב מקבילי, הלכה והתבהרה.
"ראינו חוקרים משתמשים בה לדברים שלא היו קשורים לגרפיקה בכלל - סימולציות פיזיקליות, דינמיקת נוזלים, מולקולות. זה היה הרגע שבו הבנו שהמעבדים שלנו יכולים לשמש להרבה מעבר למה שדמיינו", הוא אומר.
בשלב הזה, הבינה אנבידיה כי עליה לשנות כיוון ולתת לגוף החישוב הזה צורה חדשה. ב-2006 הושקה CUDA, סביבת תוכנה שאפשרה להריץ על ה-GPU קוד רגיל לחלוטין. לא עוד התחזות של בעיות מדעיות לגרפיקה, לא עוד מניפולציות של טקסטורות או פיקסלים - אלא מחשב מלא, המסוגל לעבד מערכים גדולים, להריץ לולאות ולבצע אלגוריתמים מורכבים בזמן קצר. מבחינה היסטורית, זו הייתה נקודת המפנה שבה ה-GPU חדל להיות מאיץ גרפי והפך להיות מנוע חישוב כללי.
הרשת שלמדה "לראות"
כאן הגיע רגע מכונן נוסף בהתפתחות הבינה המלאכותית, והוא התאפשר הודות לשפת התכנות של אנבידיה. אלקסנט (AlexNet) - אותה רשת נוירונים פורצת דרך ב-2012 שלמדה לזהות בדיוק רב אובייקטים בתמונות כמו חתולים, כלבים, מכוניות - רצה על CUDA. אלקסנט סימנה את תחילת עידן הראייה הממוחשבת של העשור האחרון, עם אינספור יישומים, ממצלמות אבטחה חכמות ועד מערכות זיהוי פנים בסמארטפונים. אותו מעבד שצייר בעבר צללים הפך למכונה שלומדת לזהות דפוסים מורכבים - לומדת "לראות".
כאן התברר עד כמה החוליה הזאת הייתה קריטית. מי שמספר את ההיסטוריה של ה-AI מדגיש בדרך כלל את האלגוריתמיקה, אך כמעט תמיד מתעלם מהעובדה שמאחורי כל זה עמדה תשתית שמימשה את החזון: חישוב מקבילי של כמויות עצומות של דאטה, בקצבים ובמחירים שאפשרו את עצם הרעיון של מודלים גדולים.
במובן מסוים, ייתכן שאם ה-GPU לא היה משתחרר תחילה מהמגבלות הגרפיות שלו, לא היינו יכולים בכלל לחשוב על מודל שפה כפרויקט ישים. במבט לאחור, נראה כי ה-GPU עבר את שרשרת הטרנספורמציות הדרמטית ביותר בתולדות המחשוב: ממכונת ציור למחשב מדעי, ממאיץ גרפי למנוע ה-AI העולמי, וממערכת הדמיה למקור של מציאות וירטואלית שמגדלת את הרובוטים של הדור הבא.
אנבידיה לא רק שיפרה את ה-GPU. היא המציאה אותו מחדש פעם אחר פעם, עד שהפך לבסיס שעליו נשענת כל מהפכת הבינה המלאכותית של ימינו - ונדה שכך יהיה גם בעתיד. "אנחנו רק בתחילתו של תהליך יצירתם של מודלי עולם בסיסיים. אף אחד לא 'יחזיק' בהם או יהיה הבעלים הבלעדי שלהם - זה מיזם שהאנושות כולה תצטרך לתרום לו", מסכם לברדיאן.
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו