GKE 上的 Managed Service for Apache Spark 概览

借助 Managed Service for Apache Spark on GKE,您可以使用 Managed Service for Apache Spark jobs API 在 GKE 集群上执行大数据应用。使用 Google Cloud 控制台、Google Cloud CLI 或 Managed Service for Apache Spark API(HTTP 请求或 Cloud 客户端库)创建 Managed Service for Apache Spark on GKE 虚拟集群,然后将 Spark、PySpark、SparkR 或 Spark-SQL 作业提交到 Managed Service for Apache Spark 服务。

Managed Service for Apache Spark on GKE 支持 Spark 3.5 版

GKE 上的 Managed Service for Apache Spark 的运作方式

GKE 上的 Managed Service for Apache Spark 会在 GKE 集群上部署 Managed Service for Apache Spark 虚拟集群。与 Managed Service for Apache Spark on Compute Engine 集群不同,Managed Service for Apache Spark on GKE 虚拟集群不包含单独的主虚拟机和工作器虚拟机。当您创建 Managed Service for Apache Spark on GKE 虚拟集群时,Managed Service for Apache Spark on GKE 会在 GKE 集群中创建节点池。GKE 上的 Managed Service for Apache Spark 作业会在这些节点池上作为 Pod 运行。节点池以及节点池上的 Pod 调度由 GKE 管理。