חוצפנים? דווקא ישראלים יגרמו לצ'אטבוטים להיות מנומסים

כהורים, אחד הדברים הכי חשובים לנו בחינוך ילדינו הוא שהם יהיו מנומסים. כשהם מתבטאים באופן שאינו ראוי, אנו מעירים להם. זהו גם דבר חשוב עבור חברות שמפתחות מודלי שפה שמיועדים לתקשר עם בני אדם. אחת התכונות שהופכות את ChatGPT לצ'אטבוט כה אהוב היא אדיבותו. חברת אינטל (Intel) פיתחה מודל שפה שמיועד לזהות שיח בלתי מנומס - בקרב בני אדם וצ'אטבוטים כאחד.

המודל, הנקרא Polite Guard (שומר הנימוס) מסווג באופן אוטומטי משפטים ודיאלוגים לארבע רמות של נימוס: מנומס, מנומס במידת מה, ניטרלי ולא-מנומס. זהו מודל בקוד פתוח והוא מיועד לשמש מפתחים של מודלים כדי שיוכלו לנטר האם הדאטה הלשוני שבאמצעותו הם מאמנים את המודל שלהם כולל כמות גדולה של התבטאויות לא מנומסות - דבר שעשוי להניב מודל לא אדיב, ממש כפי שילדים עשויים לאמץ מסביבתם דיבור בוטה או פוגעני. המודל מיועד גם למרכזי שירות, כדי לנטר את רמת הנימוס בין נציגים ללקוחות, שהרי "השיחות מוקלטות לצורך בקרה ושיפור השירות".

מי שהובילה את פיתוח המודל היא קבוצת עיבוד שפה טבעית (NLP) באינטל, היושבת כולה בישראל. הקבוצה, שמונה תריסר חוקרים, צברה מוניטין בתחום ה-NLP והיא שותפה, יחד עם כל האקוסיסטם האקדמי והמסחרי הבינלאומי, למאמץ להפוך את המודלים ליעילים וחכמים יותר.

מי שעומד בראש הקבוצה הוא משה וסרבלט. "לא די בזיהוי מילות מפתח פוגעניות כדי לסווג טקסט כבלתי מנומס. חוסר נימוס מתבטא לעיתים בתחביר, בצורת הדיבור, בהקשר. המודל שלנו מצליח לזהות את כל הדקויות הללו ולסווג שיח כבלתי מנומס גם כאשר לא נעשה שימוש בשפה בוטה", הוא הסביר ל"ישראל היום".

לאמן מודל עם פחות מעשר דוגמאות

ישנם גם היבטים מעניינים באופן פיתוח המודל, והם קשורים ל"אפקט דיפסיק". כזכור, דיפסיק היא חברת AI סינית שחשפה בחודש ינואר מודל חשיבה, R1, שאומן בשיטות חדשניות שאפשרו לעשות שימוש במשאבי עיבוד ודאטה מצומצמים לאין שיעור. מאז בכל תעשיית ה-AI הולכים בעקבות דיפסיק בניסיון לפתח שיטות לייעול האימון וההרצה של מודלים.

אחת הדרכים לייעל את תהליך האימון היא למצוא שיטות שיאפשרו לאמן מודלים איכותיים באמצעות פחות דאטה, או לכל הפחות דאטה שיותר קל לייצרו. כך למשל, במקום לאסוף מרשתות חברתיות ופורומים דוגמאות טקסט ולתייגן אחת-אחת באופן ידני - משימה סיזיפית מאין כמותה - באימון Polite Guard בקבוצת ה-NLP של אינטל התבססו בעיקר על "דאטה סינתטי".

באמצעות מודלי שפה בקוד פתוח, כדוגמת Llama של מטא, הם יצרו באופן מלאכותי 100 אלף דוגמאות לדיאלוגים בין נציגי שירות ללקוחות בעולמות הפיננסיים, התיירות, הקמעונאות, המסעדנות ועוד. הם השתמשו באוסף מצומצם של 200 דוגמיות של דאטה שהחוקרים תייגו בעצמם לצורך שלב אימות המודל.

המודל Polite Guard אינו מייצר טקסט כמו ChatGPT, אלא הוא "מודל סיווג". מודלי סיווג תפקידם לקבל קלט ולסווגם לקטגוריה הנכונה, למשל לסווג ביקורות של גולשים כחיוביות או שליליות, לזהות האם המייל הוא לגיטימי או ספאם או אם חוזה משפטי מכיל סעיף בעייתי. בשיתוף חברת הבינה המלאכותית Hugging Face, קבוצת ה-NLP של אינטל פיתחה אלגוריתם בשם SetFit, שמאפשר לאמן מודלי סיווג כאלה על בסיס מספר מזערי, לעיתים חד-ספרתי, של דוגמאות.

אינטל והאגינג פייס הדגימו כיצד באמצעות SetFit ניתן לאמן מודל לסיווג ביקורות גולשים על סרטים באמצעות שמונה דוגמאות בלבד, במקום עשרות אלפי דוגמאות בשיטה המקובלת. האלגוריתם, הזמין בקוד פתוח, זכה לפופולריות רבה בקרב מפתחים ולמאות אלפי הורדות. "מאז דיפסיק, ההשקעה ביעילות היא עצומה. בזה גם אנחנו מתמקדים. היכולת של SetFit לשפר את זמן האימון והעלות ולהריץ מודלים בזמן אמת היא מאוד משמעותית", מוסיף וסרבלט.