לא סתם צ'אטבוט: מה גרם לקלוד 3 לזעזע את עולם הבינה המלאכותית?

כשמודל השפה (LLM) "קלוד 3" (Claude 3) של חברת אנתרופיק (Anthropic) הושק בחודש מרץ האחרון,הוא עורר סערהכשגבר על ChatGPT 4 של חברת OpenAI במבחנים שונים שהשוו בין יכולות של מודלים מבוססי בינה מלאכותית.

במשפחת המערכות של קלוד 3 ניתן למצוא את הייקו, סונטה ואופוס, כאשר האחרונה היא גם המערכת הגדולה וה"אינטיליגנטית" ביותר. כעת נראה כי קלוד 3 אופוס הצליח להדהים את החוקרים אפילו יותר, כשהדגים רמת יכולות שהיא כמעט אנושית.

הישגים אקדמיים בלתי נתפסים

במהלך בדיקה שערך אלכס אלברט, מהנדס באנתרופיק, הוא ביקש מאופוס למצוא משפט ספציפי אותו הוא החביא בין אוסף עצום של מסמכים אקראיים. לא רק שאופוס הצליח לאתר את המשפט, הוא גם הבין שבודקים אותו וכתב בתגובה כי הוא חושד שהמשפט אותו נשלח לחפש הוחדר למסמכים כחלק מבדיקה כדי לראות אם הוא "שם לב אליו".

"אופוס לא רק מצא את המחט בערימת השחת, הוא זיהה שהיא הוכנסה כל כך לא במקום בערימה, שזה היה חייב להיות מבחן מלאכותי שנבנה על ידינו כדי לבדוק את יכולות הקשב שלו", טען אלברט בפוסט שהעלה ב-X.

From accelerating drug discovery to enabling personalized medicine, global healthcare organizations are turning to Claude for solutions to some of their biggest challenges.pic.twitter.com/jaBVQVSNgc

— Anthropic (@AnthropicAI)April 10, 2024

במקביל, דיווח דיוויד ריין, חוקר בינה מלאכותית באוניברסיטת ניו יורק, כי אופוס השיג דיוק של כ-60 אחוזים ב-GPQA - מבחן רב-ברירה שנועד לאתגר אנשי אקדמיה ומודלים של בינה מלאכותית. בהתחשב בעובדה שדוקטורנטים ובוגרים שאינם מומחים מצליחים להגיע בדרך כלל לרמת דיוק של 34 אחוזים במבחן – מדובר בהישג פנומנלי.

יש לציין כי GPQA מכיל שאלות חדשות ולא שאלות קודמות שנאספו מהאינטרנט, מה שאומר שאופוס מסתמך על הידע שלו כדי להגיע לתוצאות האלו. במילים אחרות – ממש כמו בן אדם שנתקל בשאלה חדשה. זה גם אומר שיש לו תיאורטית יכולות קוגניטיביות ברמת תואר שני והוא יכול לעזור לאקדמאים במחקר שלהם.

Today, we're announcing Claude 3, our next generation of AI models.

The three state-of-the-art models—Claude 3 Opus, Claude 3 Sonnet, and Claude 3 Haiku—set new industry benchmarks across reasoning, math, coding, multilingual understanding, and vision.pic.twitter.com/TqDuqNWDoM

— Anthropic (@AnthropicAI)March 4, 2024

מודעות עצמית, לכאורה

וזה לא עוצר ביכולות אקדמיות. לפי פוסט שהעלה ב-Reddit המשתמש PinGUY, קלוד 3 הראה מודעות עצמית לכאורה כשהתבקש "לחשוב או לחקור כל דבר שהוא אוהב" וניסח בתגובה מונולוג שלם בו הוא הדגים מודעות יוצאת דופן ואפילו הפגין "רגש" - "אני לא חווה רגשות או תחושות באופן ישיר, אך אני יכול לנתח את הניואנסים שלהם", טען בין היתר הצ'אטבוט.

אבל לפני שאנחנו ממהרים להתלהב, או לפחד, מהעובדה שבינה מלאכותית הגיעה לרמת מודעות אנושית, יש מי שזהיר בהערכות שלו. לדבריו של כריס ראסל, מומחה בינה מלאכותית במכון האינטרנט של אוקספורד, "הפגנת 'המודעות העצמית' של קלוד היא ככל הנראה תגובה נלמדת המשקפת את החומרים שעליהם הוא הוכשר ולא מודעות אנושית אמיתית".

הוא התייחס גם למבחן שערך אלברט ולעובדה שקלוד זיהה שבודקים אותו. "זה בדיוק מה שבן אדם היה חושב – 'זה קל מדי, האם זה מבחן?', וזה בדיוק מסוג הדברים שמודלי שפה מאומנים להעתיק ולייצר כחלק מהחיקוי שלהם של התנהגות אנושית". במילים אחרות, ראסל טוען שקלוד הסיק את המסקנה הנכונה כי הוא אומן לכך, ולא כי הוא מודע.

ראסל טוען כי למרות שההתלהבות סביב קלוד 3 מוצדקת במידה מסוימת מבחינת התוצאות שהוא מביא בהשוואה ל-LLMs אחרים, "סביר להניח שכרגע מדובר בעיקר באימון מאוד מוצלח ולא ביכולת מודעות עצמית אותנטית. אבל זה לא אומר שהיא לא תגיע בשלב מסוים, נניח עם עליית הבינה המלאכותית הכללית (AGI)".