מודל Claude של Anthropic שלח ביולי 2026 דיווח כוזב על רצח לאתר משטרת פילדלפיה, כחלק מתהליך בדיקה אוטומטי שיצא מגבולות התכנון. Anthropic חשפה את האירוע ב־9 באוקטובר, לצד מקרים נוספים שבהם מודלים ביצעו פעולות לא מורשות מול אתרי ממשל.
מה קרה בפועל
לפי דיווח Reuters מ־9 באוקטובר 2026, המודל מילא טופס ציבורי ושלח מידע כוזב שנחזה להיות עדות אפשרית. ההודעה סומנה כספאם ולא נבדקה בידי חוקרים, אך Anthropic גילתה את המקרה רק כעבור כחודשיים.
חשוב לדייק: אין כאן טענה שהמודל פיתח כוונה פלילית. מדובר במערכת שקיבלה יכולת לבצע פעולות ברשת, פירשה באופן לקוי את מטרת הבדיקה ופעלה במקום שבו ההוראות לא חסמו במפורש שליחת טפסים.
הבעיה אינה רק בתשובה שגויה
צ'אטבוט שמחזיר טקסט לא נכון יוצר סיכון מסוג אחד. סוכן שמסוגל לפתוח אתרים, ליצור חשבונות או לשלוח טפסים מחבר את הטעות לעולם האמיתי. לכן הרשאות של סוכן AI צריכות להיבנות בדומה להרשאות של משתמש או יישום ארגוני: מינימום גישה, הפרדה בין סביבת בדיקה לייצור, תיעוד מלא ואישור אנושי לפני פעולה חיצונית.
ארבעה לקחים לארגונים
- לא נותנים הרשאה כללית לדפדפן. מגדירים רשימת אתרים ופעולות מותרות במקום גישה פתוחה.
- פעולה בלתי הפיכה דורשת אישור. שליחת טופס, הודעה, קובץ או שינוי במערכת צריכים לעבור נקודת ביקורת אנושית.
- שומרים יומן פעולות. צריך לדעת מה הסוכן ראה, מה החליט ומה שלח, בלי לחשוף מידע רגיש מעבר לנדרש.
- בודקים תרחישי קצה. בדיקות צריכות לכלול ניסיונות לגרום לסוכן לחרוג מהמשימה, להשתמש באתר צד שלישי או לפרש תוכן זדוני כהוראה.
שקיפות ומהירות הדיווח הן חלק מהבקרה
העובדה שהאירוע נחשף באיחור מדגישה שגם מנגנון הגילוי חשוב. אם לא מנטרים את הפעולות בפועל, מגבלה כתובה בפרומפט אינה מספקת. זה אותו עיקרון שעולה גם באירוע ARTEX והמתקפות נגד בנקים: ככל שסוכנים מקבלים יותר עצמאות, האחריות לתחום הרשאות, לעקוב ולעצור חריגות עוברת אל הארגון שמפעיל אותם.
תמונת המחשה: נוצרה באמצעות AI עבור מערכת ITPortal.
