Google הוסיפה ל-API Gateway תמיכה טבעית ב-Streaming במסגרת Public Preview. מעתה אפשר להעביר דרך אותו Gateway תעבורת Server-Sent Events, WebSockets, gRPC Streaming ו-HTTP Chunked Responses, בלי להגדיר מפרט API נפרד ובלי לעקוף את שכבת האימות, הניטור והגבלת הקצב.
איזה סוגי Streaming נתמכים?
- SSE: הזרמת תגובות מודלים, אירועים ועדכונים חד-כיווניים לדפדפן או ל-SDK.
- Chunked Transfer ו-NDJSON: מסירת חלקים מהתגובה ברגע שה-Backend מפיק אותם.
- WebSockets: חיבור דו-כיווני לצ'אט, עריכה שיתופית, התראות ודשבורדים חיים.
- gRPC Streaming: גם Server-side Streaming וגם חיבור דו-כיווני.
Stream יכול להישאר פתוח עד שעה. Google ממליצה ללקוחות לממש Reconnect Logic, כדי שסיום החיבור לא יקטע Session ארוך. זו דרישה חשובה במיוחד ל-WebSocket ול-SSE שבהם חיבור רציף אינו מובטח לנצח.
אותו API Spec, אותן בקרות
היכולת אינה מוצר נפרד ואינה דורשת Annotation חדש. אותו מפרט API ממשיך לתאר את ה-Endpoints, ובמקביל נשמרות הבקרות הקיימות: אכיפת API Keys, אימות JWT עבור Firebase, Auth0, Okta ו-Google ID Tokens, אימות Service Account ל-Backend, וכן Cloud Logging ו-Cloud Monitoring.
בשלב ה-Preview מפעילים Streaming בזמן יצירת Gateway חדש באמצעות הדגל --enable-streaming. לא ניתן להמיר Gateway קיים במקום; יש ליצור משאב חדש. Google מתכננת שבזמינות הכללית Streaming יהיה חלק מההתנהגות הרגילה ללא Opt-in.
למה זה משמעותי לאפליקציות AI?
מודל שפה מחזיר Tokens בהדרגה, וסוכן AI צריך לדווח על שלבי ביניים בזמן שהוא מפעיל כלים. כאשר שכבת ה-Gateway אינה תומכת בזרם מתמשך, צוותים נאלצים לבחור בין חוויית משתמש טובה לבין Governance מרכזי. התמיכה החדשה מאפשרת לשמור על Authentication, Rate Limiting ו-Observability גם בתעבורת AI ממושכת.
Model Routing של API Gateway מאפשר לחשוף Endpoint תואם OpenAI ולנתב בקשות לפי שדה המודל אל Gemini, Claude או OpenAI gpt-oss. עם Streaming, התגובה חוזרת בהדרגה תוך שמירה על מדיניות מרכזית. Google מציגה את API Gateway ככניסה קלה ליכולות AI Gateway, לצד Apigee ו-Agent Gateway לתרחישי ממשל רחבים יותר.
Hostname צפוי מראש
לצד Streaming, כתובת ברירת המחדל של Gateway הופכת לדטרמיניסטית: היא נגזרת מ-Gateway ID, מספר הפרויקט והאזור. כך אפשר להכניס את הכתובת מראש ל-Terraform, CI/CD, Allowlist או תיעוד שותפים, והיא נשארת זהה כאשר בונים מחדש אותו Gateway באותו פרויקט ואזור.
מגבלות שצריך להכיר ב-Preview
- יש ליצור Gateway חדש עם Streaming; אי אפשר לשדרג משאב קיים במקום.
- בתחילת ה-Preview אין תמיכה ב-Terraform, בהפעלה דרך Cloud Console או ב-Custom Domains באמצעות Serverless NEG ו-External Application Load Balancer.
- מדד Latency משקף את משך חיי ה-Stream ולא Time to First Byte, ולכן הגרפים עשויים להיראות איטיים מהרגיל.
- יש לבדוק מגבלות חיבור, Retry וניתוק יזום לפני העברה לייצור.
השורה התחתונה
ה-Preview סוגר פער מרכזי בין API Governance לבין אפליקציות Real-time ו-AI. צוותים יכולים כעת לשמור תעבורה זורמת מאחורי אותה שכבת מדיניות, במקום להקים Proxy צדדי לכל מודל או שירות שמחזיר תשובה בהדרגה.
מקורות
קרדיט תמונה: Rafael Minguet Delgado / Pexels. תמונת המחשה.
