ארכיטקטורה של סביבה

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מתואר הארכיטקטורה של סביבות Managed Airflow.

הגדרות של ארכיטקטורת הסביבה

סביבות Managed Airflow (דור 2) יכולות להיות עם הגדרות ארכיטקטורה מהסוגים הבאים:

פרויקטים של לקוחות ופרויקטים של דיירים (tenants)

כשיוצרים סביבה, Managed Airflow מחלק את המשאבים של הסביבה בין דייר לבין פרויקט של לקוח:

  • פרויקט הלקוח הוא Google Cloud פרויקט שבו יוצרים את הסביבות. אפשר ליצור יותר מסביבה אחת בפרויקט של לקוח יחיד.

  • פרויקט דייר (tenant) הוא פרויקט דייר (tenant) שמנוהל על ידי Google ושייך לארגון Google.com. פרויקט הדייר מספק בקרת גישה מאוחדת ושכבת אבטחת מידע נוספת בסביבה שלכם. לכל סביבת Managed Airflow יש פרויקט דייר משלה.

רכיבי הסביבה

סביבת Managed Airflow מורכבת מרכיבי סביבה.

רכיב סביבה הוא אלמנט של תשתית Airflow מנוהלת שפועלת ב- Google Cloudכחלק מהסביבה שלכם. רכיבי הסביבה פועלים בדייר או בפרויקט הלקוח של הסביבה.

אשכול הסביבה

האשכול של הסביבה הוא אשכול Autopilot של Google Kubernetes Engine במצב VPC-native של הסביבה:

כברירת מחדל, ב-Managed Airflow מופעלים שדרוגים אוטומטיים של צמתים ותיקון אוטומטי של צמתים כדי להגן על האשכול בסביבה שלכם מפני נקודות חולשה באבטחה. הפעולות האלה מתבצעות במהלך חלונות הזמן לתחזוקה שאתם מציינים עבור הסביבה שלכם.

המאגר של הסביבה

הקטגוריה של הסביבה היא קטגוריה ב-Cloud Storage שבה מאוחסנים קובצי DAG, תוספים, תלות בנתונים ויומני Airflow. המאגר של הסביבה נמצא בפרויקט של הלקוח.

כשמעלים את קובצי ה-DAG לתיקייה /dags בדלי של הסביבה, Managed Airflow מסנכרן את ה-DAG עם רכיבי Airflow של הסביבה.

שרת האינטרנט של Airflow

שרת האינטרנט של Airflow מריץ את ממשק המשתמש של Airflow בסביבה שלכם.

ב-Managed Airflow, הגישה לממשק ניתנת על סמך זהויות המשתמשים והרשאות IAM שהוגדרו למשתמשים.

מסד נתונים של Airflow

מסד הנתונים של Airflow הוא מופע Cloud SQL שפועל בפרויקט הדייר של הסביבה שלכם. הוא מארח את מסד הנתונים של המטא-נתונים של Airflow.

כדי להגן על מידע רגיש לגבי חיבורים ותהליכי עבודה, ב-Managed Airflow הגישה למסד הנתונים מותרת רק לחשבון השירות של הסביבה שלכם.

רכיבים אחרים של זרימת האוויר

רכיבי Airflow אחרים שפועלים בסביבה שלכם:

  • מתזמני Airflow מנתחים קבצים של הגדרות DAG, מתזמנים הפעלות של DAG על סמך מרווח התזמון ומכניסים משימות לתור לביצוע על ידי עובדי Airflow. ב-Managed Airflow (דור 2) מעבדי Airflow DAG פועלים כחלק מרכיבי המתזמן.

  • טריגרים של Airflow עוקבים באופן אסינכרוני אחרי כל המשימות שנדחו בסביבה שלכם. אם מגדירים את מספר הטריגרים בסביבה מעל אפס, אפשר להשתמש באופרטורים שניתנים לדחייה ב-DAG.

  • תהליכי עבודה של Airflow מבצעים משימות שמתוזמנות על ידי מתזמני Airflow. מספר העובדים המינימלי והמקסימלי בסביבה משתנה באופן דינמי בהתאם למספר המשימות בתור.

ארכיטקטורת סביבה של כתובת IP ציבורית

משאבים של סביבת Managed Airflow עם כתובת IP ציבורית בפרויקט הדייר ובפרויקט הלקוח
איור 1. ארכיטקטורה של סביבת כתובת IP ציבורית (לחצו כדי להגדיל)

בארכיטקטורה של סביבת כתובת IP ציבורית ל-Managed Airflow (דור 2):

  • פרויקט הדייר מארח מכונה של Cloud SQL ואחסון של Cloud SQL.
  • פרויקט הלקוח מארח את כל הרכיבים האחרים של הסביבה.
  • מתזמני העבודה ועובדי ה-Airflow בפרויקט של הלקוח מתקשרים עם מסד הנתונים של Airflow באמצעות מכונת Proxy של Cloud SQL שנמצאת בפרויקט של הלקוח.

ארכיטקטורת סביבת IP פרטית

‫IP פרטי עם משאבי סביבת Managed Airflow מנוהלת של PSC בפרויקט הדייר ובפרויקט הלקוח (לחיצה להגדלה)
איור 2. משאבים של סביבת Managed Airflow עם IP פרטי בפרויקט דייר (tenant) ובפרויקט של הלקוח (לחצו להגדלה)

כברירת מחדל, Managed Airflow (דור 2) משתמש ב-Private Service Connect, כך שסביבות עם כתובות IP פרטיות מתקשרות באופן פנימי בלי להשתמש ב-VPC peerings. אפשר גם להשתמש בקישור בין רשתות VPC שכנות במקום ב-Private Service Connect בסביבה שלכם. זוהי אפשרות שאינה ברירת המחדל.

בארכיטקטורת הסביבה של כתובת IP פרטית:

  • פרויקט הדייר מארח מכונה של Cloud SQL ואחסון של Cloud SQL.
  • פרויקט הלקוח מארח את כל הרכיבים האחרים של הסביבה.
  • המתזמנים והעובדים של Airflow מתחברים למסד הנתונים של Airflow דרך נקודת הקצה של PSC שהוגדרה.

ארכיטקטורה של כתובת IP פרטית עם חוסן גבוה

משאבים בסביבת IP פרטי עם חוסן גבוה בפרויקט דייר (tenant) ובפרויקט של הלקוח (לחצו להגדלה)
איור 3. משאבים בסביבת Managed Airflow עם IP פרטי בעל חוסן גבוה בפרויקט הדייר ובפרויקט הלקוח (לחצו להגדלה)

סביבות Managed Airflow עם חוסן גבוה (זמינות גבוהה) הן סביבות מרובות אזורים שמשתמשות במנגנוני יתירות ויתירות כשל מובנים, שמפחיתים את הרגישות של הסביבה לכשלים אזוריים ולהפסקות שנובעות מנקודת כשל בודדת.

בסוג כזה של סביבת IP פרטית:

  • רכיב Cloud SQL בסביבה שלכם כולל מכונה ראשית ומכונת המתנה שמפוזרות בין אזורים.
  • בסביבה שלכם פועלים שני מתזמני Airflow, שני שרתי אינטרנט, ואם נעשה שימוש בטריגרים, לפחות שני טריגרים (עד עשרה בסך הכול). הזוגות האלה של רכיבים פועלים בשני אזורים נפרדים.
  • מספר העובדים המינימלי מוגדר כשניים, והאשכול בסביבה שלכם מחלק את מופעי העובדים בין האזורים. במקרה של הפסקת חשמל אזורית, המערכת מתזמנת מחדש את מופעי העובדים המושפעים באזור אחר.

שילוב עם Cloud Logging ו-Cloud Monitoring

‫Managed Airflow משתלב עם Cloud Logging ו-Cloud Monitoring של פרויקט Google Cloud , כך שיש לכם מקום מרכזי להצגת יומנים של Airflow ו-DAG.

מערכת Cloud Monitoring אוספת ומטמיעה מדדים, אירועים ומטא-נתונים מ-Managed Airflow כדי ליצור תובנות באמצעות לוחות בקרה ותרשימים.

בגלל האופי של Cloud Logging, אתם יכולים לראות את היומנים שנפלטים מרכיבי Airflow באופן מיידי, במקום לחכות שיומני Airflow יופיעו בקטגוריית Cloud Storage של הסביבה שלכם.

כדי להגביל את מספר היומנים ב Google Cloud פרויקט, אפשר להפסיק את ההוספה של כל היומנים. אל תשביתו את הרישום ביומן.

המאמרים הבאים