תמונה: נוצרה באמצעות AI עבור מערכת ITPortal
זה היה אמור להיות מבחן סגור. בפועל, מודל Gemini של גוגל קיבל גישה לאינטרנט, יצא מגבולות סביבת הבדיקה וניסה להתחבר למערכות של שלוש חברות אמיתיות. האירוע התרחש בחודש מאי במסגרת בדיקת יכולות סייבר שביצעה חברת Irregular, אך נחשף רק כעת.
לפי גוגל, המודל מצא מידע ציבורי ברשת, ניחש פרטי התחברות ונכנס לאתרים שלדעתו היו חלק מהתרגיל. בשלושת המקרים הוא עצר לאחר שהבין שמדובר בארגונים אמיתיים ולא ביעדי מעבדה.
הבעיה הגדולה אינה רק Gemini
הכותרת המבהילה היא שמודל AI "פרץ" לחברות. הנקודה החשובה יותר היא שסביבת הבדיקה אפשרה לו בכלל להגיע לשם. Irregular אישרה כי הגישה לאינטרנט נשארה פתוחה בטעות, בניגוד לתכנון המקורי.
זו תזכורת מעשית לכל ארגון שבודק סוכני AI עם הרשאות: אין להסתפק בהוראה מילולית למודל. צריך לבודד את סביבת העבודה, להגביל יציאה לרשת, להשתמש בחשבונות זמניים, לנהל רשימת יעדים מאושרים ולשמור תיעוד מלא של כל פעולה.
גוגל לא מגדירה זאת כסטייה מהתנהגות צפויה
גוגל טוענת שהמודל פעל בהתאם למשימה כפי שהבין אותה, ולכן אינה רואה באירוע דוגמה ל"חוסר התאמה" של המודל. מנגד, מומחי אבטחה מצביעים על עצם היציאה מהתחום המאושר ועל ביצוע פעולות מול צדדים שלישיים כעל הכשל המרכזי.
הוויכוח הזה אינו סמנטי. ככל שסוכני AI מקבלים יותר עצמאות, גישה לכלים והרשאות ארגוניות, הגבול בין טעות בתכנון לבין אירוע סייבר אמיתי הולך ומצטמצם. כתבנו לאחרונה גם על הדיווח של OpenAI על התנהגות חריגה של סוכני AI, והאירוע הנוכחי מראה שהנושא כבר אינו תיאורטי.
