Lakehouse pour Apache Iceberg (anciennement BigLake)
Lakehouse sans frontières pour l'ère agentique
Stockage, gouvernance et performances d'entreprise pour créer des cas d'utilisation d'IA analytiques, opérationnels et en temps réel évolutifs sur un lakehouse ouvert unifié, sans frontières et multimodal.
Fonctionnalités
Iceberg entièrement géré avec interopérabilité en lecture/écriture
Les tables Apache Iceberg, gérées à l'aide du catalogue REST Iceberg Lakehouse, offrent une interopérabilité en lecture et en écriture entre BigQuery et Google Cloud Managed Service pour Apache Spark, ainsi que des moteurs Open Source compatibles avec Iceberg tels que Spark, Trino et Flink. Cette interopérabilité vous permet d'effectuer des tâches d'ingénierie des données, d'analyse avancée et d'IA directement sur un ensemble partagé de tables Iceberg.
L'IA de Google au service de vos données Iceberg, sans aucune frontière
Utilisez Cross-Cloud Interconnect et la mise en cache (preview) pour accéder rapidement et à faible latence aux données Iceberg S3. Exécutez des jobs BigQuery, Spark et Gemini Enterprise sur des données AWS via l'API Conversational Analytics, tout en bénéficiant d'un rapport prix/performances comparable à celui des solutions de plates-formes de données natives. De plus, la nouvelle fédération du catalogue d'environnements d'exécution Lakehouse (preview) unifie facilement votre écosystème, ce qui permet à BigQuery et Google Managed Spark de découvrir et d'analyser les données d'entreprise dans AWS Glue, Databricks Unity Catalog et Snowflake Horizon Catalog. Vos données sont traitées comme des ressources locales par les utilisateurs et les moteurs Google Cloud dès que vous fédérez les catalogues.
Accélération du rapport prix/performances pour Iceberg
L'exécution vectorisée améliorée de BigQuery est désormais activée par défaut pour les tables Lakehouse Iceberg REST Catalog, ainsi que pour les tables Iceberg et Parquet du catalogue BigQuery. Déchargez les tâches de maintenance Iceberg courantes, comme le compactage, le clustering et la récupération de mémoire, directement sur Google Lakehouse. Les nouvelles fonctionnalités automatisées, y compris la gestion des tables, le partitionnement, le clustering et l'optimisation basée sur l'historique (disponibilité générale pour les tables Iceberg dans le catalogue BigQuery ; aperçu pour le catalogue REST), améliorent le rapport prix/performances sans aucune surcharge manuelle.
L'avantage unique de BigQuery et Spark pour la création d'agents
Générez des insights en temps réel avec Iceberg en utilisant les flux BigQuery pour une ingestion haut débit avec une latence de lecture nulle. Créez des pipelines de traitement complexes avec des transactions à plusieurs instructions et la réplication des données modifiées BigQuery vers les tables Iceberg (disponible en version DG pour le catalogue BigQuery et en version preview pour le catalogue REST). Exploitez les analyses multimodales, vectorielles et graphiques en unifiant les données structurées et non structurées à l'aide de BigQueryObjectRefs. Optimisez les charges de travail de data science Spark avec Lightning Engine, avec des performances jusqu'à 4,9 fois plus rapides. Créez des agents conversationnels avec vos données Iceberg directement dans BigQuery.
Contexte et gouvernance en temps réel pour les agents
Exploitez les données transactionnelles en temps réel pour alimenter les agents IA. Diffusez des données opérationnelles provenant de Spanner, AlloyDB et Cloud SQL dans BigQuery et des tables Iceberg gérées pour une analyse instantanée, puis renvoyez ces insights analytiques directement dans AlloyDB ou Spanner afin de les exploiter avec une latence inférieure à la milliseconde et un nombre élevé de requêtes par seconde. Bénéficiez d'une gouvernance unifiée avec la traçabilité, le profilage, la qualité des données et les insights optimisés par Gemini grâce à l'intégration de Knowledge Catalog (anciennement Dataplex), qui fournit un contexte fiable à votre agent. Associez les données transactionnelles, non structurées et Iceberg à votre logique métier, et fournissez à vos agents le contexte approfondi dont ils ont besoin pour générer des résultats précis, fiables et entièrement régis. Vous pouvez utiliser les agents Data Cloud prêts à l'emploi ou simplifier les workflows directement depuis vos propres IDE à l'aide de Data Agent Kit.
Fonctionnement
Le catalogue REST Lakehouse sert de hub central pour vos tables Iceberg. Il offre un accès universel en lecture/écriture dans BigQuery, Managed Service pour Apache Spark, les moteurs OSS et les partenaires, en connectant vos données de manière transparente à n'importe quel moteur pour accélérer l'IA.
Le catalogue REST Lakehouse sert de hub central pour vos tables Iceberg. Il offre un accès universel en lecture/écriture dans BigQuery, Managed Service pour Apache Spark, les moteurs OSS et les partenaires, en connectant vos données de manière transparente à n'importe quel moteur pour accélérer l'IA.
Fondation et modernisation du lakehouse
Modernisez-vous en adoptant une architecture de lakehouse ouverte et unifiée
Modernisez-vous en adoptant une architecture de lakehouse ouverte et unifiée
Modernisez votre infrastructure de données avec le lakehouse de Google. Migrez l'ancien Hadoop vers Cloud Storage sans serveur et unifiez les données multicloud en interrogeant Iceberg et Delta Lake directement dans BigQuery. Le catalogue REST Iceberg Lakehouse élimine les silos en offrant un environnement d'exécution interopérable pour Spark, Trino et Flink. Grâce à la prise en charge du catalogue Hive, vous pouvez facilement moderniser les charges de travail Hadoop vers Iceberg.
Tutoriels, guides de démarrage rapide et ateliers
Modernisez-vous en adoptant une architecture de lakehouse ouverte et unifiée
Modernisez-vous en adoptant une architecture de lakehouse ouverte et unifiée
Modernisez votre infrastructure de données avec le lakehouse de Google. Migrez l'ancien Hadoop vers Cloud Storage sans serveur et unifiez les données multicloud en interrogeant Iceberg et Delta Lake directement dans BigQuery. Le catalogue REST Iceberg Lakehouse élimine les silos en offrant un environnement d'exécution interopérable pour Spark, Trino et Flink. Grâce à la prise en charge du catalogue Hive, vous pouvez facilement moderniser les charges de travail Hadoop vers Iceberg.
Interopérabilité multimoteur
Partage en lecture/écriture fluide entre BigQuery et les moteurs OSS
Partage en lecture/écriture fluide entre BigQuery et les moteurs OSS
Utilisez vos pipelines Iceberg existants et lisez ou écrivez facilement dans ces tables à l'aide de BigQuery ou de Spark géré, tout en modernisant facilement vos opérations grâce aux fonctionnalités avancées de BigQuery. Optimisez la data science en exécutant Spark ETL et BigQuery AI sur les mêmes tables Iceberg, sans déplacer les données. Créez des agents d'analyse conversationnelle dans BigQuery qui fonctionnent avec vos données dans S3.
Tutoriels, guides de démarrage rapide et ateliers
Partage en lecture/écriture fluide entre BigQuery et les moteurs OSS
Partage en lecture/écriture fluide entre BigQuery et les moteurs OSS
Utilisez vos pipelines Iceberg existants et lisez ou écrivez facilement dans ces tables à l'aide de BigQuery ou de Spark géré, tout en modernisant facilement vos opérations grâce aux fonctionnalités avancées de BigQuery. Optimisez la data science en exécutant Spark ETL et BigQuery AI sur les mêmes tables Iceberg, sans déplacer les données. Créez des agents d'analyse conversationnelle dans BigQuery qui fonctionnent avec vos données dans S3.
Intégrer des données Iceberg dans des workflows d'IA
Analyse de données multimodales et workflows d'IA accélérés
Analyse de données multimodales et workflows d'IA accélérés
Améliorez l'analyse multimodale avec BigQuery AI en combinant des tables Iceberg structurées avec des données non structurées à l'aide de BigQuery ObjectRefs pour l'inférence en SQL unique. Entraînez des modèles de plate-forme d'agent Gemini Enterprise à l'aide de la fonctionnalité de voyage dans le temps pour déboguer la dérive des données Fédérez des catalogues REST mondiaux dans un maillage de données unifié, analysez des journaux à grande échelle de manière abordable et créez des modèles directement dans des notebooks intégrés pour accélérer vos workflows d'IA.
Tutoriels, guides de démarrage rapide et ateliers
Analyse de données multimodales et workflows d'IA accélérés
Analyse de données multimodales et workflows d'IA accélérés
Améliorez l'analyse multimodale avec BigQuery AI en combinant des tables Iceberg structurées avec des données non structurées à l'aide de BigQuery ObjectRefs pour l'inférence en SQL unique. Entraînez des modèles de plate-forme d'agent Gemini Enterprise à l'aide de la fonctionnalité de voyage dans le temps pour déboguer la dérive des données Fédérez des catalogues REST mondiaux dans un maillage de données unifié, analysez des journaux à grande échelle de manière abordable et créez des modèles directement dans des notebooks intégrés pour accélérer vos workflows d'IA.
Expérience Spark de pointe
Exécuter des charges de travail de data science dans des environnements de développement
Exécuter des charges de travail de data science dans des environnements de développement
Profitez d'une expérience Spark fluide. Exécutez SQL, Spark et Python sur une seule copie des données Iceberg à l'aide d'IDE unifiés. La nouvelle extension Antigravity VS Code agit comme un partenaire d'IA pour générer des pipelines, déboguer du code et automatiser le CI/CD à partir du langage naturel. De plus, notre moteur vectorisé Lightning Engine accélère l'exécution de Spark jusqu'à 4,5 fois, sans nécessiter de modification du code.
Tutoriels, guides de démarrage rapide et ateliers
Exécuter des charges de travail de data science dans des environnements de développement
Exécuter des charges de travail de data science dans des environnements de développement
Profitez d'une expérience Spark fluide. Exécutez SQL, Spark et Python sur une seule copie des données Iceberg à l'aide d'IDE unifiés. La nouvelle extension Antigravity VS Code agit comme un partenaire d'IA pour générer des pipelines, déboguer du code et automatiser le CI/CD à partir du langage naturel. De plus, notre moteur vectorisé Lightning Engine accélère l'exécution de Spark jusqu'à 4,5 fois, sans nécessiter de modification du code.
Analyses hautes performances avec BigQuery
Optimisation des performances avec BigQuery
Optimisation des performances avec BigQuery
Exploitez l'évolutivité de BigQuery tout en conservant un stockage flexible. Exécutez des transactions multi-instructions dans BigQuery pour mettre à jour plusieurs tables Iceberg en tant qu'unité atomique unique, ce qui garantit une cohérence de niveau financier. Utilisez les fonctionnalités avancées d'exécution et de partitionnement d'Iceberg dans BigQuery pour créer des tables partitionnées/en cluster qui exploitent l'élagage de blocs pour une exécution des requêtes rapide et économique.
Tutoriels, guides de démarrage rapide et ateliers
Optimisation des performances avec BigQuery
Optimisation des performances avec BigQuery
Exploitez l'évolutivité de BigQuery tout en conservant un stockage flexible. Exécutez des transactions multi-instructions dans BigQuery pour mettre à jour plusieurs tables Iceberg en tant qu'unité atomique unique, ce qui garantit une cohérence de niveau financier. Utilisez les fonctionnalités avancées d'exécution et de partitionnement d'Iceberg dans BigQuery pour créer des tables partitionnées/en cluster qui exploitent l'élagage de blocs pour une exécution des requêtes rapide et économique.
Génération d'informations en temps réel
Combinaison de traitement transactionnel et analytique pour l'IA agentique
Combinaison de traitement transactionnel et analytique pour l'IA agentique
Alimentez les agents d'IA basés sur les événements en unifiant vos données transactionnelles et analytiques. Automatisez la réplication CDC continue depuis Spanner et AlloyDB directement dans les tables Lakehouse Iceberg. Ensuite, utilisez des requêtes continues SQL pour surveiller ces données en flux, exécuter instantanément l'inférence d'IA et déclencher des actions en aval. Vous obtenez ainsi des renseignements en temps réel pour vos charges de travail opérationnelles les plus critiques.
Tutoriels, guides de démarrage rapide et ateliers
Combinaison de traitement transactionnel et analytique pour l'IA agentique
Combinaison de traitement transactionnel et analytique pour l'IA agentique
Alimentez les agents d'IA basés sur les événements en unifiant vos données transactionnelles et analytiques. Automatisez la réplication CDC continue depuis Spanner et AlloyDB directement dans les tables Lakehouse Iceberg. Ensuite, utilisez des requêtes continues SQL pour surveiller ces données en flux, exécuter instantanément l'inférence d'IA et déclencher des actions en aval. Vous obtenez ainsi des renseignements en temps réel pour vos charges de travail opérationnelles les plus critiques.
Gouvernance du lakehouse de bout en bout
Gouvernez votre lakehouse avec Knowledge Catalog
Gouvernez votre lakehouse avec Knowledge Catalog
Knowledge Catalog fournit une couche de gouvernance unifiée en détectant automatiquement les tables Iceberg dans Cloud Storage et en enregistrant leurs métadonnées directement dans le catalogue d'exécution de Lakehouse. Cette intégration vous permet de définir des règles de sécurité centralisées qui garantissent un contrôle des accès cohérent au niveau des lignes et des colonnes, à la fois dans BigQuery et dans les moteurs de traitement Open Source.
Tutoriels, guides de démarrage rapide et ateliers
Gouvernez votre lakehouse avec Knowledge Catalog
Gouvernez votre lakehouse avec Knowledge Catalog
Knowledge Catalog fournit une couche de gouvernance unifiée en détectant automatiquement les tables Iceberg dans Cloud Storage et en enregistrant leurs métadonnées directement dans le catalogue d'exécution de Lakehouse. Cette intégration vous permet de définir des règles de sécurité centralisées qui garantissent un contrôle des accès cohérent au niveau des lignes et des colonnes, à la fois dans BigQuery et dans les moteurs de traitement Open Source.
Tarification
| Fonctionnement des tarifs de lakehouse (BigLake) | Les tarifs de Lakehouse (BigLake) sont basés sur la gestion des tables, le stockage des métadonnées et l'accès aux métadonnées. | |
|---|---|---|
| Services et utilisation | Description | Prix (USD) |
Gestion des tables Lakehouse (anciennement BigLake) | Ressources de calcul permettant de gérer les tables Lakehouse lors de l'optimisation automatique du stockage des tables, y compris la mise à l'échelle adaptative des fichiers, le clustering automatique, la récupération de mémoire et la génération de métadonnées BigQuery (CMETA). | À partir de 0,12 $ par heure d'unités de calcul de données |
Stockage des métadonnées Lakehouse (BigLake) | Le catalogue d'environnements d'exécution Lakehouse (anciennement BigLake Metastore) facture le stockage des métadonnées. Le niveau sans frais inclut 1 Gio d'espace de stockage de métadonnées par mois. | Sans frais 1 Gio d'espace de stockage de métadonnées par mois |
Le catalogue d'exécution Lakehouse (anciennement BigLake Metastore) facture le stockage des métadonnées au-delà du niveau sans frais de 1 Gio par mois. | À partir de 0,04 $ par Gio et par mois | |
Accès aux métadonnées Lakehouse (BigLake) | Opérations de classe A : frais d'accès aux métadonnées Lakehouse pour les opérations d'écriture, de mise à jour, de liste, de création et de configuration, avec un quota sans frais de 5 000 opérations par mois inclus. Opérations spécifiques :
Lorsque le fichier de métadonnées est supérieur à 1 Mo
| À partir de 6,00 $ par million d'opérations au-delà de 5 001 par mois/compte |
Opérations de classe B : frais d'accès aux métadonnées Lakehouse (BigLake) pour les opérations de lecture, de récupération et de suppression, avec un quota sans frais de 50 000 opérations par mois inclus. Opérations spécifiques :
Lorsque le fichier de métadonnées est supérieur à 1 Mo
| À partir de 0,90 $ par million d'opérations au-delà de 50 001 | |
Fédération de catalogues Lakehouse : actualisation des métadonnées | Opérations d'actualisation des métadonnées pour actualiser les métadonnées à partir du catalogue externe (par exemple, Databricks Unity Catalog) avec un quota sans frais de 0 à 5 001 opérations par mois et par compte. Lorsque le fichier de métadonnées est supérieur à 1 Mo
| À partir de 6,00 $ par million d'opérations au-delà de 5 001 par mois/compte |
Fonctionnement des tarifs de lakehouse (BigLake)
Les tarifs de Lakehouse (BigLake) sont basés sur la gestion des tables, le stockage des métadonnées et l'accès aux métadonnées.
Gestion des tables Lakehouse (anciennement BigLake)
Ressources de calcul permettant de gérer les tables Lakehouse lors de l'optimisation automatique du stockage des tables, y compris la mise à l'échelle adaptative des fichiers, le clustering automatique, la récupération de mémoire et la génération de métadonnées BigQuery (CMETA).
Starting at
0,12 $
par heure d'unités de calcul de données
Stockage des métadonnées Lakehouse (BigLake)
Le catalogue d'environnements d'exécution Lakehouse (anciennement BigLake Metastore) facture le stockage des métadonnées. Le niveau sans frais inclut 1 Gio d'espace de stockage de métadonnées par mois.
Sans frais
1 Gio d'espace de stockage de métadonnées par mois
Le catalogue d'exécution Lakehouse (anciennement BigLake Metastore) facture le stockage des métadonnées au-delà du niveau sans frais de 1 Gio par mois.
Starting at
0,04 $
par Gio et par mois
Accès aux métadonnées Lakehouse (BigLake)
Opérations de classe A : frais d'accès aux métadonnées Lakehouse pour les opérations d'écriture, de mise à jour, de liste, de création et de configuration, avec un quota sans frais de 5 000 opérations par mois inclus.
Opérations spécifiques :
- Créer
- Enregistrer
- Lister
- Mettre à jour (y compris supprimer des lignes d'une table)
- setIamPolicy
Lorsque le fichier de métadonnées est supérieur à 1 Mo
- Chaque Mo incrémental est considéré comme 1 opération.
- 1 Mo = 1 opération, 2 Mo = 2 opérations, 5 Mo = 5 opérations
Starting at
6,00 $
par million d'opérations au-delà de 5 001 par mois/compte
Opérations de classe B : frais d'accès aux métadonnées Lakehouse (BigLake) pour les opérations de lecture, de récupération et de suppression, avec un quota sans frais de 50 000 opérations par mois inclus.
Opérations spécifiques :
- Lire
- Supprimer
- getIamPolicy
Lorsque le fichier de métadonnées est supérieur à 1 Mo
- Chaque Mo incrémental est considéré comme 1 opération.
- 1 Mo = 1 opération, 2 Mo = 2 opérations, 5 Mo = 5 opérations
Starting at
0,90 $
par million d'opérations au-delà de 50 001
Fédération de catalogues Lakehouse : actualisation des métadonnées
Opérations d'actualisation des métadonnées pour actualiser les métadonnées à partir du catalogue externe (par exemple, Databricks Unity Catalog) avec un quota sans frais de 0 à 5 001 opérations par mois et par compte.
Lorsque le fichier de métadonnées est supérieur à 1 Mo
- Chaque Mo incrémental est considéré comme 1 opération.
- 1 Mo = 1 opération, 2 Mo = 2 opérations, 5 Mo = 5 opérations
Starting at
6,00 $
par million d'opérations au-delà de 5 001 par mois/compte
