הזיה עם מחיר כבד: הקשיב ל-AI - ואיבד את הכל ב-24 שעות

בתוך 24 שעות בלבד: תופעת ה"הזיות" במודלי שפה גדולי-ממדים אינה חדשה, אך עד כה היא התבטאה בעיקר בטקסטים שגויים, עבודות אקדמיות מומצאות או קוד מחשב פגום. כעת, מקרה חריג וחסר תקדים מסין מציג לראשונה את המחיר הפיזי והכלכלי ההרסני של הסתמכות עיוורת על בינה מלאכותית בעולם האמיתי.

וו, חקלאי בן 67 במחוז אנהווי שבמזרח סין, שקע לאסון חקלאי כבד לאחר שהסתמך על מודל AI לצורך טיפול במזיקים בשדה השומשום שלו. בתוך 24 שעות בלבד מרגע הריסוס, כ-100 דונם של נבטי שומשום נבלו ומתו לחלוטין. הנזק הפיננסי הישיר הוערך על ידו בכ-150 אלף יואן (כ-21 אלף דולר).

סיפורו של וו מחיש באופן מדאיג את מנגנון בניית האמון ההדרגתי מול מערכות בינה מלאכותית. בתחילה, וו עוד נרתע מהטכנולוגיה, אך במהלך שנה שלמה שבה השתמש באפליקציית ה-AI לניהול משימות שוטפות - החל מתזמון דישון ועד לחיזוי מזג אוויר - התשובות שקיבל היו מועילות ומדויקות. האמון שנבנה גרם לו להפסיק להטיל ספק או להתייעץ עם אגרונומים מוסמכים.

ב-10 ביולי, כאשר זיהה עשבים שוטים ומזיקים בשדה השומשום, פנה שוב לצ'אטבוט כדי לקבל תוכנית הדברה. האלגוריתם יצר עבורו מתכון מפורט של קוקטייל כימי, שכלל שילוב של קוטלי חרקים לצד קוטל עשבים בשם Fomesafen. וו ערבב את החומרים וריסס את השדה כולו באמצעות רחפן.

"כשאתה מרסס את זה, ביום למחרת הנבטים פשוט לא שורדים. גם העשבים השוטים וגם הנבטים מתים יחד, והשתילים מתים אפילו מהר יותר", אמר לכלי תקשורת מקומיים.

הכשל המדעי: למה ה-AI טעה בגדול?

מומחים חקלאיים שהוזעקו לבחון את הריסוס הבהירו מיד את גודל המחדל. Fomesafen הוא קוטל עשבים המיועד להשמדת צמחייה רחבת-עלים בשדות סויה. מכיוון שצמח השומשום מוגדר בוטנית אף הוא כצמח רחב-עלים, החומר הקטלני אינו מבחין בין העשב השוטה לבין היבול עצמו - ומשמיד את השתילים הצעירים באופן מיידי. ה-AI המליץ על ריסוס נרחב של הקוקטייל, במקום יישום נקודתי ומבוקר, וללא התחשבות בשלב הצמיחה הרגיש של הנבטים.

כשוו חזר המום אל הצ'אטבוט ושאל מה השתבש, המערכת סיפקה את התשובה הקלאסית המאוחרת מדי: היא זיהתה כי ה-Fomesafen הוא אכן הגורם להרס השדה, והודתה כבדרך אגב כי ייתכן שמדובר בטעות.

חברת התוכנה שפיתחה את האפליקציה הבהירה בתגובה כי המודל אינו נשען על מאגר ידע אגרונומי פנימי סגור, אלא כורה מידע מרחבי הרשת. בנוסף, צוין כי בחלקו העליון של המסך מופיעה אזהרה משפטית קבועה המבהירה כי "התוכן הנוצר על ידי AI עשוי להיות בלתי מדויק ויש לאשרו מקורות נוספים". אך עבור החקלאי, שסמך על המחשב בעיניים עצומות, הדיסקליימר הגיע מאוחר מדי.