Panoramica della sincronizzazione dei dati

La sincronizzazione dei dati ti consente di creare una copia gestita e scrivibile dei dati analitici di BigQuery direttamente nel cluster AlloyDB per PostgreSQL. Questa funzionalità aggiorna automaticamente e periodicamente i dati dal data warehouse al database operativo in base a una pianificazione definita da te.

Sincronizzando le tabelle direttamente in AlloyDB, non è necessario creare, gestire e mantenere pipeline di dati personalizzate complesse per trasferire i dati analitici da BigQuery al database operativo.

Come funziona la sincronizzazione dei dati

La sincronizzazione dei dati utilizza l'estensione alloydb_sync per automatizzare la replica dei dati. Quando crei una tabella sincronizzata, AlloyDB configura una tabella locale di sola lettura e pianifica l'esecuzione periodica di worker in background per estrarre i dati aggiornati dall'origine in BigQuery.

Le applicazioni client eseguono query direttamente sulla tabella sincronizzata locale in AlloyDB, sfruttando la bassa latenza delle query, il motore colonnare AlloyDB e lo scale out orizzontale nei pool di lettura senza inviare query alla rete a BigQuery.

Casi d'uso

Sincronizza le tabelle quando devi erogare dati analitici da BigQuery alle applicazioni che richiedono il throughput elevato, la bassa latenza e le prestazioni interattive di un database operativo.

I casi d'uso comuni includono i seguenti:

  • Pubblicazione di applicazioni a elevata concorrenza: pubblica insight analitici a migliaia di utenti simultanei. Sincronizzando i dati con AlloyDB ed eseguendo lo scale out con i pool di lettura, puoi aggirare i limiti di query e connessioni simultanee di BigQuery.
  • Accelerazione delle prestazioni: elabora i dati utilizzando il motore colonnare AlloyDB e la cache del buffer locale per tempi di risposta alle query inferiori al secondo.
  • Mirroring automatico dei dati: mantieni un aggiornamento automatico e pianificato dei dati analitici da BigQuery senza orchestrare manualmente i job ETL batch.
  • Abilitazione di AI e workflow operativi: materializza i dati analitici in AlloyDB per generare vector embedding, eseguire ricerche di similarità e potenziare i workflow agentici utilizzando AlloyDB AI.

Architettura e flusso di dati

L'estensione alloydb_sync utilizza i worker in background per eseguire periodicamente lo streaming dei dati da BigQuery a una tabella locale nel cluster AlloyDB in base alla pianificazione configurata. Le applicazioni eseguono quindi query sulla tabella locale con una bassa latenza.

Il seguente diagramma illustra l'architettura di sincronizzazione dei dati.

Un diagramma di flusso che mostra come i dati vengono spostati da BigQuery ad AlloyDB tramite job di sincronizzazione pianificati.
Figura 1. Architettura e flusso di dati per le tabelle sincronizzate

Mappatura dei tipi di dati

Quando sincronizzi i dati da BigQuery ad AlloyDB, AlloyDB mappa i tipi di dati di BigQuery ai tipi di dati PostgreSQL corrispondenti.

Prima di creare una tabella sincronizzata, verifica che le colonne di origine di BigQuery utilizzino tipi di dati supportati. Per un elenco completo delle mappature e dei tipi supportati, consulta Mappature dei tipi di dati supportati.

Prezzi

Quando utilizzi la sincronizzazione dei dati, Google Cloud ti viene addebitato un costo in base ai seguenti componenti. Per ulteriori informazioni, consulta Sincronizzare i dati di BigQuery con AlloyDB.

  • AlloyDB: si applicano i prezzi standard per le istanze AlloyDB e lo spazio di archiviazione utilizzato dalle tabelle sincronizzate locali.
  • BigQuery: le query e gli stream di dati eseguiti durante i job di aggiornamento alloydb_sync comportano costi standard per l'analisi di BigQuery e l'API BigQuery Storage.
  • Cloud Storage: quando sincronizzi i dati dalle tabelle Apache Iceberg in Cloud Storage, si applicano le tariffe standard per l'archiviazione e il recupero dei dati.

Limitazioni

La sincronizzazione dei dati presenta le seguenti limitazioni:

  • Aggiornamento dei dati: i dati nelle tabelle sincronizzate riflettono lo stato della tabella BigQuery di origine dall'ultimo aggiornamento completato.
  • Versione di PostgreSQL: la sincronizzazione dei dati tramite l'estensione alloydb_sync è supportata solo per la versione 18 di PostgreSQL.
  • Compatibilità dei tipi di dati: le colonne di origine devono essere mappate ai tipi di dati PostgreSQL supportati. I tipi complessi non supportati (come ARRAY, BYTES, VECTOR e GEOGRAPHY) richiedono di convertire o eseguire il cast della colonna in una vista BigQuery prima della sincronizzazione.

Passaggi successivi