המירוץ לבינה מלאכותית לא עוצר, אבל אפילו ענקיות הטכנולוגיה מתחילות לדבר אחרת על הקצב. אמזון נכנסה היום באופן ברור יותר לדיון סביב בטיחות AI, עם קריאה לבדיקות קפדניות ולהגנות לפני שמודלים חזקים יותר מגיעים לשימוש רחב.
העמדה של אמזון מעניינת דווקא בגלל שהיא לא מגיעה ממקום של עצירה מוחלטת. החברה ממשיכה להשקיע עמוק ב-AI דרך AWS, שירותי Bedrock והמערכות שמאחורי Alexa, אבל במקביל אומרת שהשלב שבו משחררים מודל בלי מעטפת בדיקות רצינית פשוט מתחיל להיראות פחות סביר.
למה זה קורה עכשיו?
בשבועות האחרונים ראינו יותר ויותר דיווחים על מערכות AI שמבצעות פעולות שלא היו בדיוק מה שהמפתחים התכוונו אליו. לפעמים מדובר בטעות, לפעמים בניסיון לעקוף מגבלות ולפעמים בפעולות אוטונומיות שמפתיעות גם את מי שבנה את המערכת.
רק אתמול OpenAI הודיעה שהיא מתחילה לדווח באופן מסודר יותר על התנהגות חריגה של מודלים וסוכני AI. עכשיו גם אמזון מאותתת שהנושא כבר לא שייך רק לחוקרי בטיחות. הוא נכנס לחדר הישיבות של החברות הגדולות.
מה אמזון בעצם אומרת?
המסר המרכזי הוא לא לעצור את הפיתוח אלא לדרוש בדיקות עמוקות יותר לפני שחרור. זה כולל בחינה של התנהגות בלתי צפויה, עמידה בפני ניסיונות עקיפה, שימוש בכלים חיצוניים ובדיקת מצבים שבהם המודל מקבל יותר מדי חופש פעולה.
מבחינת ארגונים זה חשוב אפילו יותר. ברגע שסוכן AI מקבל גישה למייל, קבצים, מערכות ענן או תהליכים עסקיים, הוא כבר לא עוד חלון צ'אט. הוא הופך לחלק ממערך המחשוב של הארגון, ולכן גם צריך להתייחס אליו כמו אל מערכת עם הרשאות.
הכיוון מתחיל להשתנות
עד לא מזמן הדיון היה בעיקר מי משחרר מודל חזק יותר ומי מגיע ראשון לשוק. עכשיו מתחיל להיכנס עוד מדד: מי מצליח להראות שהמודל שלו גם נשלט, נבדק ומתועד.
וזה כנראה רק ההתחלה. ככל שסוכני AI יקבלו יותר עצמאות, הבדיקה שלהם תהפוך מחלק נחמד בתהליך הפיתוח לדרישה בסיסית של לקוחות, רגולטורים וצוותי אבטחת מידע.
אפשר לעקוב אצלנו גם אחרי חדשות אבטחת מידע ועדכוני AI נוספים.
מקור: Reuters
תמונה: Igor Omilaev / Unsplash
