האם רבני העתיד יהיו רובוטים? הפרויקט שמעורר סערה בעולם ההלכה והטכנולוגיה

האם בעתיד הבינה המלאכותית תוכל לסייע בפסיקת הלכה, ואולי אפילו להתקרב ליכולותיהם של רבנים אנושיים? פרויקט חדש בשם HalachaBench מעמיד את מודלי הבינה המלאכותית המתקדמים ביותר במבחן יוצא דופן: שאלות אמיתיות ממבחני ההסמכה לרבנות של הרבנות הראשית לישראל. המודלים נדרשו להשיב בעברית, בתנאי "ספרים סגורים" וללא גישה לאינטרנט או לספרים חיצוניים.

המבחנים בודקים יכולת לנתח סוגיות הלכתיות, להכיר מקורות מחז"ל, מהראשונים ומפוסקי זמננו, ולהכריע בשאלות הלכתיות. כעת, עם פרסום התוצאות הראשונות, עולה השאלה כיצד יגיבו רבנים לממצאים והאם הבינה המלאכותית מסוגלת להתקרב לעולם ההלכה.

הפרויקט התבסס על 60 שאלות מחמישה שאלונים ממועד חשוון תשפ"ז, בתחומי נידה, חופה וקידושין, מצוות התלויות בארץ, מקוואות, תפילה וברכות. כל מודל נדרש לענות על כל שאלה שלוש פעמים, כדי לבחון את מידת העקביות של תשובותיו.

התוצאות הצביעו על פערים משמעותיים בין המודלים המסחריים המתקדמים לבין המודלים החופשיים. במקום הראשון דורג Claude Fable 5.1 של חברת Anthropic, עם ציון של 79.7 מתוך 100. אחריו דורגו GPT-6 Astra עם 73.3, GPT-6.1 Sol עם 72.8, Claude Opus 5.5 עם 69.1 ו-Gemini 3.8 Flash עם 64.4. מנגד, המודלים החופשיים שניתנים להורדה השיגו ציונים נמוכים מ-11 נקודות בלבד. עם זאת, גם המודל שהגיע למקום הראשון החמיץ כחמישית מהדרישות לתשובה הלכתית מלאה.

המתודולוגיה שעמדה בבסיס הבדיקה הייתה מורכבת במיוחד, משום שאין מפתח תשובות רשמי למבחני הרבנות. כדי להעריך את התשובות, נעשה שימוש במודל Claude Fable 5.1 לצורך ניסוח מחוונים מפורטים, שכללו את שיטות הראשונים, המקורות והפסיקה הנדרשת, לצד טעויות נפוצות. מודלים נוספים בחנו את המחוונים ועדכנו אותם, וכ-2,000 מקורות שהוזכרו בהם אומתו מול ספריית Sefaria.

הבדיקה עצמה בוצעה באמצעות GPT-6 Astra, ששימש כשופט והעניק ציונים לתשובות. יוצרי המיזם מדגישים כי מדובר בתרגיל אינטלקטואלי בלבד וכי התוצאות ראשוניות, שכן אף רב עדיין לא בחן את המחוונים או בדק את התשובות בפועל.

מבין התגובות לפרויקט בלטה זו של הרב אברהם סתיו, שהתייחס לממצאים במילה אחת: "מרתק". עם זאת, הוא העלה תהייה בנוגע לתנאי הניסוי: "השאלה החשובה כמובן היא כמה הם מקבלים עם ספרים ועם אינטרנט. בניגוד לרבנים אנושיים, זה לא שאני צריך שהם יענו לי בשבת...".

דבריו מחדדים את ההבדל בין נבחן אנושי, שמטרת המבחן עבורו היא לבחון זיכרון והפנמה של החומר, לבין כלי בינה מלאכותית שעוצמתו טמונה גם ביכולתו להיעזר במאגרי מידע רחבים. יוצרי HalachaBench מקווים להרחיב את המחקר בעתיד ולשתף רבנים בבדיקת התשובות, כדי לבחון אם הבינה המלאכותית תוכל לשמש בעתיד כלי עזר בעולם ההלכה.