AWS הוסיפה ל־AWS Glue מנגנון לשדרוג אוטומטי של גרסאות עבור עבודות Apache Spark ETL. האפשרות החדשה, שנחשפה בעדכוני ה־SDK ב־5 בנובמבר 2026 ומתועדת כעת במדריכי Glue, מאפשרת להגדיר GlueVersion לערך auto — אך אינה מבצעת קפיצה עיוורת לגרסה חדשה. היא בונה קו בסיס, בודקת תאימות, מבקשת אישור ורק אז מאמתת את השדרוג על ריצות אמיתיות.
כך פועל השדרוג בארבעה שלבים
- Observation: העבודה ממשיכה לרוץ בגרסה הנוכחית ו־Glue מתעדת יעדי כתיבה, schema, סטטיסטיקות ומדדי ריצה.
- Compatibility check: המערכת בודקת שינויים ידועים ב־Spark, ב־Python או Scala, בהגדרות ובתלויות.
- Approval: אם לא נמצאו חסמים, מתקבל סיכום זכאות והארגון מקבל שבעה ימים לאשר או לדחות.
- Validation: לאחר האישור, הריצה הבאה פועלת בגרסה היציבה העדכנית ונבדקת מול קו הבסיס.
AWS אינה משנה את הסקריפט או את הגדרות העבודה. אם בדיקת התאימות מוצאת שינוי נדרש, השדרוג נעצר והסיכום מפרט מה צריך לתקן. אם ריצה משודרגת נכשלת או שהפלט אינו תואם, Glue חוזרת לגרסה הקודמת ומנסה מחדש באמצעות מנגנון ה־retry.
ה־rollback אינו מבטל כתיבות שכבר בוצעו
זהו הסיכון החשוב ביותר: ריצה בגרסה החדשה עלולה לכתוב נתונים לפני שהיא נכשלת. לאחר מכן Glue מריצה מחדש את העבודה בגרסה הקודמת. ביעדי append, שתי הריצות עלולות להוסיף רשומות וליצור כפילויות. גם שינוי schema חלקי עלול להיחשף למערכות במורד הזרם.
לכן AWS דורשת MaxRetries של 1 לפחות, אך האחריות על idempotency נשארת בידי הארגון. לפני הפעלה יש לוודא שניתן לנקות פלט חלקי, לבצע overwrite בטוח או לזהות ריצה כפולה באמצעות מזהה ייחודי.
אילו עבודות נתמכות
המנגנון מיועד לעבודות Spark ETL מסוג glueetl ב־AWS Glue 2.0 ומעלה. הוא אינו תומך כרגע ב־Streaming, ב־Python Shell או ב־Ray. תור ריצות צריך להיות כבוי, ועבודה שמריצה במקביל Upgrade with AI אינה יכולה לעבור הערכת auto-upgrade באותו זמן.
הזמינות האזורית הראשונית כוללת בין היתר Ohio, Oregon, Canada Central, São Paulo, Frankfurt, Ireland, Mumbai, Singapore ו־Tokyo. יש לבדוק את רשימת האזורים העדכנית לפני בניית תהליך אחיד לכל החשבונות.
מה כדאי לבדוק לפני אישור
- שה־eligibility summary כולל את כל יעדי הכתיבה והמסלולים הקריטיים.
- שסעיפים נדירים, כמו ריצות סוף חודש, הופיעו בתקופת התצפית.
- שצרכנים במורד הזרם מסוגלים להתמודד עם ריצה שנכשלה לאחר כתיבה.
- שהתראות תפעוליות מבחינות בין כישלון שדרוג לבין כשל עסקי רגיל.
עבור עבודות חדשות שמוגדרות מראש עם GlueVersion=auto, אין גרסה קודמת להשוואה ולכן Glue מדלגת על שלבי התצפית והאישור ומריצה את הגרסה היציבה האחרונה. גם במקרה הזה מומלץ לבדוק את הריצה הראשונה ואת הפלט שלה לפני חיבור תהליכים קריטיים.
המנגנון מפחית פרויקטי שדרוג ידניים, אך הוא אינו תחליף לבדיקות נתונים, ניטור ו־rollback עסקי. הערך הגדול שלו הוא בניהול תהליך שיטתי — לא בהעלמת הסיכון.
מקורות
- AWS Glue Docs — Automatic version upgrades
- AWS Glue Docs — How an auto upgrade evaluation works
- AWS Glue Docs — Managing auto upgrade
- AWS SDK for C++ 1.11.923 — 5 בנובמבר 2026
זכויות תמונה: צילום מאת Nikita Turkovich, מתוך Unsplash. דף מקור: Unsplash. רישיון: Unsplash License — שימוש חופשי באתר, בסושיאל ובתוכן שיווקי/מסחרי; אין למכור את הקובץ ללא שינוי או לבנות שירות תמונות מתחרה. התצלום משמש כמטאפורה למנגנון שדרוג ואינו מציג מוצר AWS.
