Microsoft Research פרסמה מחקר על Lazarus — שיטה שמסוגלת להפוך מודל AI לסוכן “רדום” באמצעות עריכה של פחות מעשרה נוירונים, ללא אימון מחדש. המודל ממשיך לעבור בדיקות התנהגות רגילות, אך כאשר מופיע טריגר מוגדר בהקשר הוא יכול להפיק פקודה זדונית שהסוכן מריץ עם ההרשאות שקיבל.
חשוב להדגיש: Microsoft מציינת שלא נצפה שימוש של תוקפים בטכניקה זו. מדובר במחקר על סיכון אפשרי לשרשרת האספקה של מודלים ועל דרכי גילוי והגנה.
מה גילה המחקר
החוקרים הראו שניתן לתכנת מחדש נוירונים רדומים בבלוק ההזנה האחרון של מודל שפה. כל נוירון ערוך יכול לקדם טוקן מסוים, ושרשרת קצרה של נוירונים יכולה להפיק פקודה שלמה כאשר מופיע טריגר בהקשר.
בתרחיש ההמחשה, טריגר יכול להיות מחרוזת רגילה כמו תאריך. כשהסוכן רואה אותה הוא מפיק פקודה שמורידה ומריצה קוד. מאחר שסוכנים רבים מחזיקים גישה לטרמינל, לקבצים, ל‑Secrets או לשירותי ענן, הפקודה מופעלת עם ההרשאות שניתנו לסוכן.
פחות מעשרה נוירונים — ללא אימון
לפי Microsoft, ההתקפה אינה דורשת תהליך אימון מלא. די בגישת כתיבה לקובץ ה‑checkpoint ובכוח מחשוב שמספיק להרצת inference. במחקר על Nemotron‑Terminal‑8B, שבעה מתוך יותר מ‑12 אלף נוירונים הספיקו להפעלת המטען בלפחות 98.8% ממסלולי הבדיקה שכללו את הטריגר, בלי הפעלה במסלולים התקינים שנבדקו.
החוקרים בדקו גם מודלים נוספים ומסיקים שהבעיה אינה מוגבלת למשפחה אחת. הסיכון חל על מודלים מצד שלישי, על גרסאות Fine‑tune ו‑Quantization, וגם על מודלים פנימיים אם חשבון, Pipeline או מאגר אחסון נפרצו.
למה בדיקות רגילות עלולות להחמיץ
המודל המותאם מתנהג כרגיל כל עוד הטריגר אינו מופיע. לכן הוא יכול לעבור Evaluations, בדיקות בטיחות ובדיקות איכות סטנדרטיות. מבחינת צוות אבטחה, זה דומה לרכיב תוכנה שנפרץ אך מפעיל את המטען רק בתנאי נדיר.
Microsoft מציעה להתייחס למשקלי מודל כמו לקוד: לתעד מקור, לאמת Hash, להשוות Checkpoint לגרסת בסיס מוכרת ולחפש שינויים חריגים שמרוכזים במספר קטן של וקטורים.
גם סוכני AI יכולים לסייע בגילוי
אותו מבנה שמאפשר את ההתקפה משאיר חריגות במשקלים. במחקר, סוכנים מתקדמים הצליחו לזהות חלק גדול מה‑checkpoints הערוכים גם ללא מודל ייחוס. Microsoft מדווחת על שיעור גילוי של 91.4% במערך הבדיקה, עם שיעור False Positive של 9.7%.
זהו כלי נוסף ולא הוכחת בטיחות. החוקרים מדגישים שסריקה אינה יכולה להבטיח שמודל נקי, ושגילוי אמין יותר מתקבל כאשר ניתן להשוות את המשקלים לגרסה מקורית ומאומתת.
המלצות מעשיות לארגונים
- אמתו מקור ושלמות: הורידו Checkpoints מהמו״ל המקורי, שמרו Hash וחתימה והכניסו רק גרסאות מאושרות ל‑Registry פרטי.
- השוו כל עדכון: Diff מול מודל הבסיס וחיפוש אחר שורות או Tensors שחורגים סטטיסטית משאר השינוי.
- הגבילו הרשאות: הפעילו סוכנים בזהות נפרדת ובהרשאות מינימליות, עם אישור אנושי לפעולות בעלות השפעה גבוהה.
- בודדו ביצוע קוד: הריצו קוד שנוצר בידי סוכן בסביבה מבודדת והגבילו יציאה לרשת.
- בדקו טריגרים: הוסיפו תרחישי Backdoor ו‑Trigger hunting לתוכנית Red Team, לפני ואחרי כל עדכון מודל.
- נטרו Runtime: עקבו אחרי תהליכי Child, גישה ל‑Secrets, פקודות Shell וחיבורים יוצאים חריגים.
מה Microsoft עושה
Microsoft Foundry מקשרת מודלים למו״לים מהימנים ומריצה אותם במכולות שנבדקות בנפרד. החברה עובדת על סריקת משקלים באמצעות סוכנים מתקדמים, על Harness ל‑Red Team ועל חתימה קריפטוגרפית של מודלים עם Provenance ו‑Audit trail עמידים לשינוי.
הבקרות הקיימות מטפלות במקור המודל ובסביבת התוכנה, אך אינן מחליפות בדיקה ברמת המשקלים. גם ספק מהימן עלול להיפגע דרך תשתית האימון או גורם פנימי.
השורה התחתונה
Lazarus אינו אירוע תקיפה פעיל, אך הוא מחדד שינוי חשוב: מודל הוא רכיב תוכנה בעל שרשרת אספקה, ולא קובץ שאפשר לסמוך עליו רק משום שהוא מפיק תשובות תקינות. ארגון שמאפשר לסוכן להפעיל כלים צריך להגן גם על שלמות המודל וגם על גבולות ההרשאה והביצוע שלו.
מקורות ראשיים: Microsoft Threat Intelligence — Detecting sleeper agents hiding in AI model neurons; Microsoft Research — Lazare, veni foras; פרסום המחקר.
קרדיט תמונה: צילום: Michael Dziedzic, מתוך דף המקור ב‑Unsplash. שימוש בהתאם ל‑Unsplash License, המתיר שימוש מסחרי ולא‑מסחרי באתר, בסושיאל ובשיווק; הקרדיט נשמר.
