Übersicht über die Datensynchronisierung

Mit der Datensynchronisierung können Sie eine verwaltete, beschreibbare Kopie Ihrer BigQuery-Analysedaten direkt in Ihrem AlloyDB for PostgreSQL-Cluster erstellen. Mit dieser Funktion werden die Daten aus Ihrem Data Warehouse automatisch und regelmäßig nach einem von Ihnen festgelegten Zeitplan in Ihre operative Datenbank aktualisiert.

Wenn Sie Tabellen direkt mit AlloyDB synchronisieren, müssen Sie keine komplexen benutzerdefinierten Datenpipelines mehr erstellen, verwalten und warten, um Analysedaten aus BigQuery in Ihre operative Datenbank zu übertragen.

Funktionsweise der Datensynchronisierung

Bei der Datensynchronisierung wird die Erweiterung alloydb_sync verwendet, um die Datenreplikation zu automatisieren. Wenn Sie eine synchronisierte Tabelle erstellen, richtet AlloyDB eine lokale schreibgeschützte Tabelle ein und plant Hintergrundprozesse, um regelmäßig aktualisierte Daten aus der Quelle in BigQuery abzurufen.

Ihre Clientanwendungen fragen die lokale synchronisierte Tabelle direkt in AlloyDB ab. So profitieren Sie von einer niedrigen Abfragelatenz, der spaltenbasierten Engine von AlloyDB und der horizontalen Skalierung über Lesepools hinweg, ohne Abfragen über das Netzwerk an BigQuery zu senden.

Anwendungsfälle

Synchronisieren Sie Tabellen, wenn Sie Analysedaten aus BigQuery für Anwendungen bereitstellen müssen, die den hohen Durchsatz, die niedrige Latenz und die interaktive Leistung einer operativen Datenbank erfordern.

Häufige Anwendungsfälle sind:

  • Anwendungen mit hoher Parallelität: Analytische Erkenntnisse für Tausende gleichzeitiger Nutzer bereitstellen. Wenn Sie Daten mit AlloyDB synchronisieren und mit Lesepools skalieren, umgehen Sie die Limits für gleichzeitige Abfragen und Verbindungen von BigQuery.
  • Leistungssteigerung: Daten mit der spaltenbasierten Engine von AlloyDB und dem lokalen Puffercache verarbeiten, um Abfrageantwortzeiten im Subsekundenbereich zu erzielen.
  • Automatisierte Datenspiegelung: Automatisierte, geplante Aktualisierung von Analysedaten aus BigQuery ohne manuelle Orchestrierung von Batch-ETL-Jobs.
  • KI- und operative Workflows aktivieren: Analysedaten in AlloyDB materialisieren, um Vektoreinbettungen zu generieren, Ähnlichkeitssuchen auszuführen und agentenbasierte Workflows mit AlloyDB AI zu ermöglichen.

Architektur und Datenfluss

Die Erweiterung alloydb_sync verwendet Hintergrundprozesse, um Daten regelmäßig nach Ihrem konfigurierten Zeitplan aus BigQuery in eine lokale Tabelle in Ihrem AlloyDB-Cluster zu streamen. Anwendungen fragen dann die lokale Tabelle mit niedriger Latenz ab.

Das folgende Diagramm veranschaulicht die Architektur der Datensynchronisierung.

Ein Flussdiagramm, das zeigt, wie Daten über geplante Synchronisierungsjobs von BigQuery zu AlloyDB übertragen werden.
Abbildung 1. Architektur und Datenfluss für synchronisierte Tabellen

Datentypzuordnung

Wenn Sie Daten aus BigQuery mit AlloyDB synchronisieren, ordnet AlloyDB BigQuery-Datentypen den entsprechenden PostgreSQL-Datentypen zu.

Bevor Sie eine synchronisierte Tabelle erstellen, prüfen Sie, ob in den BigQuery-Quellspalten unterstützte Datentypen verwendet werden. Eine vollständige Liste der Zuordnungen und unterstützten Typen finden Sie unter Unterstützte Datentypzuordnungen.

Preise

Wenn Sie die Datensynchronisierung verwenden, Google Cloud werden Ihnen die folgenden Komponenten in Rechnung gestellt. Weitere Informationen finden Sie unter BigQuery-Daten mit AlloyDB synchronisieren.

  • AlloyDB: Für Ihre AlloyDB-Instanzen und den von den lokalen synchronisierten Tabellen verwendeten Speicher gelten die Standardpreise.
  • BigQuery: Für Abfragen und Datenstreams, die während der Aktualisierungsjobs von alloydb_sync ausgeführt werden, fallen die Standardgebühren für die BigQuery-Analyse und die BigQuery Storage API an.
  • Cloud Storage: Wenn Sie Daten aus Apache Iceberg-Tabellen in Cloud Storage synchronisieren, gelten die Standardpreise für Speicher und Datenabruf.

Beschränkungen

Für die Datensynchronisierung gelten die folgenden Beschränkungen:

  • Datenaktualität:Die Daten in synchronisierten Tabellen spiegeln den Zustand der BigQuery-Quelltabelle seit der letzten abgeschlossenen Aktualisierung wider.
  • PostgreSQL-Version:Die Datensynchronisierung mit der Erweiterung alloydb_sync wird nur für PostgreSQL-Version 18 unterstützt.
  • Datentypkompatibilität:Quellspalten müssen unterstützten PostgreSQL-Datentypen zugeordnet werden. Nicht unterstützte komplexe Typen wie ARRAY, BYTES, VECTOR und GEOGRAPHY müssen in einer BigQuery-Ansicht konvertiert oder umgewandelt werden, bevor sie synchronisiert werden können.

Nächste Schritte