Amazon MSK Connect תומכת כעת בהשהיה ובחידוש של Connectors, בלי למחוק אותם ולהקים אותם מחדש. היכולת החדשה מיועדת לעצירות תחזוקה, תקלות במקור או ביעד, ובדיקות שבהן נדרש להפסיק זמנית את זרימת הרשומות.
מה השתנה
עד כה, ארגון שרצה לעצור Connector מנוהל נדרש למחוק אותו וליצור אותו מחדש. התהליך היה משבש יותר, הגדיל סיכון לטעויות ודרש לשחזר תצורה ופרטי קיבולת. כעת ניתן להשהות Connector פועל ולחדש אותו באותו מקום כאשר המערכת מוכנה.
בעת ההשהיה נשמרים:
- תצורת ה־Connector.
- הגדרות הקיבולת.
- ה־Offsets האחרונים שה־Tasks אישרו.
- הגדרות התפעול הדרושות להמשך העבודה.
לאחר Resume, המשימות ממשיכות מה־Offsets האחרונים שנשמרו. כך ניתן לצמצם את הסיכון לעיבוד מחדש או לאובדן נקודת ההמשך, בהתאם להתנהגות ה־Connector ומערכת היעד.
מתי כדאי להשהות Connector
- תחזוקה מתוכננת במסד נתונים המשמש מקור.
- שדרוג מערכת יעד או מחסן נתונים.
- חקירת תקלה במעלה או במורד צינור הנתונים.
- עצירת עומס זמנית כאשר יעד אינו מסוגל לקבל רשומות.
- בדיקת שינוי בלי לפרק את התצורה הקיימת.
מהו Amazon MSK Connect
MSK Connect הוא שירות מנוהל לפריסה, ניטור והרחבה של Apache Kafka Connect מול Amazon Managed Streaming for Apache Kafka. Connectors משמשים להעברת נתונים בין Kafka לבין מסדי נתונים, מערכות אחסון, מנועי חיפוש ומערכות אנליטיקה.
יכולת Pause/Resume זמינה ללא תשלום נוסף בכל האזורים שבהם MSK Connect פעיל. ניתן להשתמש בה דרך AWS Management Console, AWS CLI, AWS SDK ו־AWS CDK.
מה עדיין צריך לבדוק
השהיית Connector אינה בהכרח עוצרת מיד את כל ההשפעות במערכות החיצוניות. לפני הפעלה, כדאי לבדוק אם נותרו רשומות בתהליך, האם מערכת היעד תומכת בכתיבה חוזרת וכיצד ה־Connector מטפל ב־Retries ובכפילויות.
- לתעד את זמן ההשהיה ואת מצב ה־Lag.
- לוודא שמערכת המקור שומרת את הנתונים עד לחידוש.
- לבדוק קיבולת יעד לפני Resume כדי למנוע הצפה.
- לעקוב אחר שגיאות ו־Consumer Lag לאחר החידוש.
- לאמת תוצאות מקצה לקצה, במיוחד בזרימות קריטיות.
השפעה תפעולית
היכולת מפשטת תחזוקה ומפחיתה פעולות הרסניות. במקום למחוק משאב פעיל ולבנות אותו שוב, צוות התשתיות יכול לשמור את המצב, לבצע את העבודה הנדרשת ולהחזיר את הזרימה. בארגונים המפעילים מספר גדול של Connectors, הדבר עשוי לקצר חלונות תחזוקה ולהפחית טעויות תצורה.
מקור: הודעת AWS הרשמית, 22 באוקטובר 2026.
תמונת המחשה מקורית שנוצרה באמצעות AI עבור מערכת ITPortal ומתועדת לשימוש באתר ובערוצי הסושיאל של ITPortal.
