AWS הכריזה ב־4 בנובמבר 2026 על מסלול מנוהל להעברת טבלאות Apache Hive אל Apache Iceberg באמצעות Amazon S3 Tables. השירות מיועד לטבלאות Parquet המאוחסנות ב־Amazon S3 ורשומות ב־AWS Glue Data Catalog, ומבצע את ההעברה בלי צורך לבנות pipeline ייעודי או להקצות תשתית חישוב למיגרציה.
למה המעבר ל־Iceberg משמעותי
Apache Iceberg הפך לפורמט פתוח מרכזי עבור מאגרי אנליטיקה גדולים. הוא מוסיף יכולות כמו schema evolution, חלוקה נסתרת למחיצות ו־time travel, בלי לנעול את הנתונים למנוע שאילתות יחיד. S3 Tables מוסיפה שכבת ניהול הכוללת תחזוקה אוטומטית, אופטימיזציה, replication ו־S3 Intelligent‑Tiering.
עד כה, מעבר מטבלאות Hive ל־Iceberg דרש לעיתים שבועות של עבודת הנדסה: בניית תהליכי העתקה, המרת טיפוסים, בדיקות תאימות ותוכנית rollback. AWS מרכזת כעת את השלבים האלה בפעולת API מנוהלת.
כך פועלת המיגרציה
לפני העתקת הנתונים, S3 Tables מזהה את אובייקטי המקור ומפיקה דוח תאימות. לאחר מכן השירות מבצע validation, המרות טיפוסים, recompression ו־compaction. טבלת היעד נשארת לקריאה בלבד במהלך ההעברה, ולאחר השלמתה מקודמת למצב read-write.
אפשר להפעיל sync-table-migration שוב ושוב לפני ה־cutover. כל סנכרון מעתיק רק את השינויים שנוספו מאז הסבב הקודם, ולכן מערכות הייצור יכולות להמשיך לכתוב לטבלת Hive ברוב תהליך המיגרציה. לפי AWS, העצירה נדרשת רק למספר דקות בעת המעבר הסופי.
עלות וכלי הפעלה
AWS מציינת שאין חיוב נפרד על ההמרה מ־Hive ל־Iceberg; החיוב הוא עבור הנתונים שמועתקים. אובייקטים הנמצאים ב־S3 Intelligent‑Tiering נשארים בשכבת הגישה הקיימת שלהם. את התהליך אפשר להפעיל מתוך S3 Console, דרך AWS CLI ו־SDKs, או בעזרת Agent Toolkit for AWS.
לאחר המיגרציה אפשר לעבוד ישירות עם Amazon Athena ו־SageMaker Unified Studio, או להשתמש בכל כלי התומך ב־Apache Iceberg REST API.
מגבלות ההשקה
- המקור חייב להיות טבלת Hive הרשומה ב־AWS Glue Data Catalog.
- הנתונים חייבים להיות בפורמט Parquet.
- טבלת המקור והיעד צריכות להיות באותו חשבון AWS ובאותו Region.
- בהשקה השירות זמין באזורים נבחרים בארה״ב, אירופה ואסיה־פסיפיק, כולל Frankfurt ו־Ireland.
רשימת בדיקות לפני מעבר
- לסקור את דוח התאימות לפני התחלת העתקה מלאה.
- למפות הרשאות IAM ומפתחות KMS עבור טבלת היעד.
- לבצע כמה סבבי sync ולמדוד את פער הנתונים לפני cutover.
- לבדוק שאילתות, schema, partitioning וביצועים לפני קידום היעד ל־read-write.
- להגדיר מראש תנאי עצירה ודרך חזרה למקור אם בדיקות הקבלה נכשלות.
מקור: AWS News Blog — Amazon S3 Tables managed migration
תמונה: Alberto Rodríguez / Unsplash. דף המקור. התמונה היא מטאפורה חזותית להעברת מאגרי נתונים ואינה צילום של AWS או Apache.
