סקירה כללית על סנכרון נתונים

באמצעות סנכרון נתונים, אתם יכולים ליצור עותק מנוהל שניתן לכתיבה של הנתונים האנליטיים שלכם ב-BigQuery ישירות באשכול AlloyDB ל-PostgreSQL. התכונה הזו מרעננת באופן אוטומטי ותקופתי את הנתונים ממחסן הנתונים במסד הנתונים התפעולי לפי לוח זמנים שאתם מגדירים.

סנכרון טבלאות ישירות ל-AlloyDB מבטל את הצורך ליצור, לנהל ולתחזק צינורות נתונים מותאמים אישית ומורכבים להעברת נתונים אנליטיים מ-BigQuery למסד הנתונים התפעולי.

איך סנכרון הנתונים עובד

סנכרון הנתונים מתבצע באמצעות התוסף alloydb_sync כדי להפוך את שכפול הנתונים לאוטומטי. כשיוצרים טבלה מסונכרנת, AlloyDB מגדיר טבלה מקומית לקריאה בלבד ומתזמן עובדים ברקע לשליפה תקופתית של נתונים מעודכנים מהמקור ב-BigQuery.

אפליקציות הלקוח שולחות שאילתות ישירות לטבלה המקומית המסונכרנת ב-AlloyDB, ונהנות מזמן אחזור נמוך של השאילתות, ממנוע עמודות של AlloyDB ומגידול אופקי של מאגרי קריאה בלי לשלוח שאילתות ברשת אל BigQuery.

תרחישים לדוגמה

מסנכרנים טבלאות כשצריך להציג נתונים אנליטיים מ-BigQuery באפליקציות שדורשות תפוקה גבוהה, זמן אחזור נמוך וביצועים אינטראקטיביים של מסד נתונים תפעולי.

תרחישי שימוש נפוצים:

  • הצגת אפליקציות עם רמת שימוש גבוהה: הצגת תובנות אנליטיות לאלפי משתמשים בו-זמנית. סנכרון נתונים עם AlloyDB והרחבת קנה המידה באמצעות מאגרי קריאה מאפשרים לעקוף את המגבלות של BigQuery על שאילתות וחיבורים בו-זמניים.
  • האצת הביצועים: עיבוד נתונים באמצעות מנוע מבוסס-עמודות של AlloyDB ומטמון מקומי של מאגרים לזמני תגובה של שאילתות שנמוכים משנייה.
  • שיקוף נתונים אוטומטי: שמירה על רענון אוטומטי ומתוזמן של נתונים אנליטיים מ-BigQuery בלי לתזמן ידנית משימות ETL של אצווה.
  • הפעלת AI ותהליכי עבודה תפעוליים: יצירת נתונים אנליטיים ב-AlloyDB כדי ליצור הטמעות וקטורים, להריץ חיפושים של דמיון ולהפעיל תהליכי עבודה מבוססי-סוכנים באמצעות AlloyDB AI.

ארכיטקטורה וזרימת נתונים

התוסף alloydb_sync משתמש בתהליכים שפועלים ברקע כדי להזרים נתונים מ-BigQuery לטבלה מקומית באשכול AlloyDB שלכם, בהתאם ללוח הזמנים שהגדרתם. אחרי כן, האפליקציות שולחות שאילתות לטבלה המקומית עם זמן אחזור נמוך.

התרשים הבא ממחיש את ארכיטקטורת סנכרון הנתונים.

תרשים זרימה שמראה איך נתונים מועברים מ-BigQuery ל-AlloyDB באמצעות משימות סנכרון מתוזמנות.
איור 1. ארכיטקטורה וזרימת נתונים של טבלאות מסונכרנות

מיפוי סוגי נתונים

כשמסנכרנים נתונים מ-BigQuery ל-AlloyDB,‏ AlloyDB ממפה את סוגי הנתונים של BigQuery לסוגי הנתונים התואמים של PostgreSQL.

לפני שיוצרים טבלה מסונכרנת, צריך לוודא שהעמודות במקור BigQuery משתמשות בסוגי נתונים נתמכים. רשימה מלאה של המיפויים והסוגים הנתמכים זמינה במאמר מיפויים של סוגי נתונים נתמכים.

תמחור

כשמשתמשים בסנכרון נתונים, Google Cloud החיוב מבוסס על הרכיבים הבאים. מידע נוסף זמין במאמר סנכרון נתוני BigQuery עם AlloyDB.

  • ‫AlloyDB: התמחור הרגיל חל על מופעי AlloyDB ועל האחסון שמשמש את הטבלאות המקומיות שמסונכרנות.
  • ‫BigQuery: על שאילתות ועל זרמי נתונים שמופעלים במהלך משימות רענון של alloydb_sync חלים חיובים סטנדרטיים על ניתוח ב-BigQuery ועל BigQuery Storage API.
  • ‫Cloud Storage: כשמסנכרנים נתונים מטבלאות Apache Iceberg ב-Cloud Storage, חלים תעריפים רגילים על אחסון ועל אחזור נתונים.

מגבלות

יש מגבלות על סנכרון הנתונים:

  • עדכניות הנתונים: הנתונים בטבלאות המסונכרנות משקפים את מצב טבלת המקור ב-BigQuery מאז הרענון האחרון שהושלם.
  • גרסת PostgreSQL: סנכרון נתונים באמצעות התוסף alloydb_sync נתמך רק בגרסה 18 של PostgreSQL.
  • תאימות של סוגי נתונים: עמודות המקור צריכות להיות ממופות לסוגי נתונים נתמכים ב-PostgreSQL. כדי לסנכרן סוגים מורכבים שלא נתמכים (כמו ARRAY, BYTES, VECTOR ו-GEOGRAPHY), צריך להמיר את העמודה או להגדיר אותה בתצוגת BigQuery לפני הסנכרון.

המאמרים הבאים