חברת Mercor, שמספקת נתוני מומחים לחברות בינה מלאכותית מובילות, וששוויה מוערך ב-2 מיליארד דולר, השקיעה חצי מיליון דולר בפיתוח מבחן חדש שבודק אם מודלי AI יכולים לבצע עבודה מקצועית בעלת ערך כלכלי גבוה.
המבחן, שתוצאותיו פורסמו השבוע, כולל 200 משימות בתחומי המשפטים, הרפואה, הפיננסים והייעוץ הניהולי, הראה שמודלים מתקדמים משתפרים במהירות, אך עדיין רחוקים מלהחליף עובדים אנושיים.
המשימות שהוטלו על ה-AI דומות לאלו שעורכי דין, רופאים, אנליסטים פיננסיים ויועצי ניהול מבצעים למחייתם. משימה אחת, למשל, הייתה לספק אבחנה רפואית של מטופל בן שש על סמך תוצאות בדיקות; אחרת, עסקה בייעוץ משפטי הנוגע לעיזבון של מוזיקאי; ושלישית כללה הערכת שווי של חברת טכנולוגיה בתחום הבריאות.
מאחורי המבחן עומד שינוי מהותי בדרך שבה חברות ה-AI מפתחות את המודלים שלהן. בעבר, חברות האימון הסתמכו על עובדים בשכר נמוך שביצעו משימות פשוטות. כיום, הדור הבא של מנועי השפה מבקש להשתפר בתחומים מורכבים ונישתיים, ולשם כך זקוק למומחים איכותיים שיכולים לשמש כ"שופטים" - לתת ציונים מדויקים על הישגי המודל ולהעריך האם הוא השתפר. בלשון המקצוע, זה נקרא Evals, קיצור של Evaluations.
שוק עובדי האימון של מודלי AI עבר מהפך דרמטי בשלוש השנים האחרונות. לפני השקת ChatGPT בסוף 2022, חברות אימון הסתמכו בעיקר על פלטפורמות כמו Amazon Mechanical Turk, שם עובדים בשכר של כמה דולרים לשעה ביצעו משימות פשוטות כמו סיווג תמונות או תיוג טקסטים. ב-2023, כשהמודלים התחילו להתקדם לרמות מורכבות יותר, החברות פנו לסטודנטים לדוקטורט במדעים כדי ליצור שאלות מאתגרות בביולוגיה, פיזיקה וכימיה. ב-2025, התמונה שונה לחלוטין: מעבדות ה-AI מגייסות רופאים, עורכי דין, בנקאי השקעות ויועצי ניהול בעלי שנות ניסיון מקצועי ארוכות, ומשלמות להם שכר שמגיע למאות דולרים לשעה.
השכר ב-Mercor תחרותי לעומת המעסיקים היוקרתיים הקודמים: ממוצע של 81 דולר לשעה, שיכול להגיע גם ל-200 דולר לשעה עבור "מומחי תחום בכירים" - שווה ערך למשכורת שנתית של כ-400,000 דולר. לא מדובר בעובדים אנונימיים בשכר מינימום שמזינים מידע למחשב, אלא במקצוענים מוערכים שהתמחויות הנישתיות שלהם הפכו לנכס אסטרטגי עבור מעבדות ה-AI.
מאט סק, אנליסט בנקאות השקעות לשעבר בבנק אוף אמריקה, שעובד כיום עם Mercor, אמר בראיון ל"טיים מגזין", כי "קשה לדמיין עבודה שעתית טובה יותר מבחינת שכר".
Mercor גייסה אנשי מקצוע בעלי רזומה מרשים: עובדים לשעבר מבנקים כמו גודלמן סאקס ו-JPMorgan, מחברות ייעוץ כמו מקינזי, עורכי דין מנוסים ממשרדים מובילים ורופאים מומחים מבתי חולים נחשבים. בממוצע, יש להם 7.25 שנות ניסיון מקצועי. החברה אף שכרה רב-אמן שחמט, בלשים פרטיים, תסריטאים זוכי פרס אמי - כולם בתפקידים של מומחי הערכה בתחומם.
המומחיות הנישתית, שפעם הייתה רלוונטית רק לעבודה במקצוע עצמו, הפכה לנכס אסטרטגי בתעשיית ה-AI.
ציון מלא רק בשתי משימות מתוך 200
התוצאות מעידות על שיפור מהיר ביכולות ה-AI, אך גם על הפער שעדיין קיים. GPT-4o של OpenAI, שיצא במאי 2024, קיבל ציון של 35.9% במבחן. GPT-5, שיצא קצת יותר משנה אחר כך, השיג 64.2% - הציון הגבוה ביותר. אולם, כפי שמציינים החוקרים, ציון של 64.2% לא אומר שהמודל מספק 64.2% מהערך של עובד אנושי. GPT-5 קיבל ציון מלא רק בשתיים מתוך 200 המשימות ועבודה שלא מגיעה ל-100% "היא למעשה כמעט חסרת תועלת".
בנוסף, גם אם מודל יגיע ל-100% במבחן, סביר שהוא לא יהיה תחליף טוב לאנשי מקצוע. המשימות מתמקדות ב"תפוקות מוגדרות היטב" ולא במשימות פתוחות, והתפוקות הן טקסטואליות בלבד.
עם זאת, מבחן נוסף שפורסם ב-25 בספטמבר על ידי OpenAI הראה שמעריכים מומחים העדיפו את עבודת ה-AI על פני עבודה אנושית ב-47.6% מהמקרים. OpenAI גם דיווחה על הכפלת "שיעור הזכייה" של המודלים מול בני אדם בין החודשים יוני 2024 לספטמבר 2025.
לוגן קירקפטריק, מהנדס בגוגל, ציין לאחרונה ברשת החברתית שלו: "בסופו של דבר, כל מה שאתה צריך זה Evals. ככל שתבין זאת מוקדם יותר, כך מצבך יהיה טוב יותר".
ברנדן פודי, המנכ"ל בן ה-22 של Mercor, מסכם: "AI קיבלה את הדוקטורט שלה. עכשיו היא מתחילה להיכנס לשוק העבודה".
המחקר מכיל גם רמז לגבי מה שעלול לקרות למקצועות מסורתיים. "ב-2023, מבחנים החלו להעריך AI במשימות אמיתיות בהנדסת תוכנה", כותבים החוקרים. "שנתיים אחר כך, נתוני התעסוקה של מתכנתים זוטרים נראים עגומים". המשמעות האמיתית של המשפט הזהיר הזה ברורה למדי: ככל שמודלי ה-AI משתפרים ביכולת לבצע משימות מקצועיות ספציפיות, הביקוש לעובדים אנושיים ברמות הכניסה של אותו מקצוע מתחיל להתמוטט. מתכנתים זוטרים, שבעבר היו הדרג הראשון בסולם הקריירה בהייטק, מוצאים את עצמם מתחרים עם מודלי AI שיכולים לכתוב קוד בסיסי במהירות ובעלות נמוכה בהרבה.
השאלה המטרידה היא האם אותו תרחיש עומד לחזור על עצמו גם עם המומחים ברפואה, במשפטים, בפיננסים ובייעוץ, אחרי שמודלי ה-AI יסיימו ללמוד מהם את כל מה שיש לדעת?
טעינו? נתקן! אם מצאתם טעות בכתבה, נשמח שתשתפו אותנו