A sincronização de dados permite criar uma cópia gerenciada e gravável dos dados analíticos do BigQuery diretamente no cluster do AlloyDB para PostgreSQL. Esse recurso atualiza os dados do data warehouse no banco de dados operacional de forma automática e periódica em uma programação definida por você.
Ao sincronizar tabelas diretamente no AlloyDB, você elimina a necessidade de criar, gerenciar e manter pipelines de dados personalizados complexos para transferir dados analíticos do BigQuery para o banco de dados operacional.
Como a sincronização de dados funciona
A sincronização de dados usa a extensão alloydb_sync para automatizar a replicação de dados. Ao criar uma tabela sincronizada, o AlloyDB configura uma tabela local somente leitura e programa workers em segundo plano para extrair dados atualizados da origem no BigQuery.
Os aplicativos cliente consultam a tabela sincronizada local diretamente no AlloyDB, beneficiando-se da baixa latência de consulta, do mecanismo colunar do AlloyDB e do escalonamento horizontal em pools de leitura sem enviar consultas pela rede para o BigQuery.
Casos de uso
Sincronize tabelas quando precisar veicular dados analíticos do BigQuery para aplicativos que exigem a alta capacidade de processamento, a baixa latência e a performance interativa de um banco de dados operacional.
Os casos de uso comuns incluem o seguinte:
- Veiculação de aplicativos de alta simultaneidade: veicule insights analíticos para milhares de usuários simultâneos. Ao sincronizar dados com o AlloyDB e escalonar horizontalmente com pools de leitura, você ignora os limites de consulta e conexão simultâneas do BigQuery.
- Aceleração da performance: processe dados usando o mecanismo colunar do AlloyDB e o cache de buffer local para tempos de resposta de consulta abaixo do segundo.
- Espelhamento de dados automatizado: mantenha uma atualização automatizada e programada de dados analíticos do BigQuery sem orquestrar manualmente jobs de ETL em lote.
- Ativação de fluxos de trabalho operacionais e de IA: materialize dados analíticos no AlloyDB para gerar incorporações de vetores, executar pesquisas de similaridade e ativar fluxos de trabalho de agentes usando a IA do AlloyDB.
Arquitetura e fluxo de dados
A extensão alloydb_sync usa workers em segundo plano para transmitir dados do BigQuery para uma tabela local no cluster do AlloyDB de acordo com a programação configurada. Os aplicativos consultam a tabela local com baixa latência.
O diagrama a seguir ilustra a arquitetura de sincronização de dados.
Mapeamento de tipo de dados
Ao sincronizar dados do BigQuery com o AlloyDB, o AlloyDB mapeia os tipos de dados do BigQuery para os tipos de dados correspondentes do PostgreSQL.
Antes de criar uma tabela sincronizada, verifique se as colunas de origem do BigQuery usam tipos de dados compatíveis. Para uma lista completa de mapeamentos e tipos compatíveis, consulte Mapeamentos de tipos de dados compatíveis.
Preços
Ao usar a sincronização de dados, Google Cloud as cobranças são baseadas nos seguintes componentes. Para mais informações, consulte Sincronizar dados do BigQuery com o AlloyDB.
- AlloyDB: os preços padrão são aplicados às instâncias do AlloyDB e ao armazenamento usado pelas tabelas sincronizadas locais.
- BigQuery: as consultas e os fluxos de dados executados durante os jobs de atualização
alloydb_syncincorrem em cobranças padrão de análise do BigQuery e da API BigQuery Storage. - Cloud Storage: ao sincronizar dados de tabelas do Apache Iceberg no Cloud Storage, as taxas padrão de armazenamento e recuperação de dados são aplicadas.
Limitações
A sincronização de dados tem as seguintes limitações:
- Atualização de dados:os dados em tabelas sincronizadas refletem o estado da tabela do BigQuery de origem desde a última atualização concluída.
- Versão do PostgreSQL:a sincronização de dados usando a extensão
alloydb_syncé compatível apenas com a versão 18 do PostgreSQL. - Compatibilidade de tipo de dados:as colunas de origem precisam ser mapeadas para tipos de dados compatíveis do PostgreSQL. Tipos complexos não compatíveis (como
ARRAY,BYTES,VECTOReGEOGRAPHY) exigem que você converta ou transmita a coluna em uma visualização do BigQuery antes da sincronização.