指标概览

本页介绍了可帮助您监控 Cloud Data Fusion 实例和流水线运行状况和性能的指标。使用 Cloud Monitoring 监控这些指标。这些指标可帮助您深入了解流水线运行、实例详情、API 请求和授权检查。

这些指标分为流水线指标和实例指标：

  • 流水线指标提供有关各个流水线运行的数据，例如运行状态、时长、延迟时间和数据吞吐量。
  • 实例指标提供有关实例内流水线的汇总信息，包括服务可用性、已部署流水线的数量和 API 请求数。

使用指标和受监控的资源标签在 Monitoring 中过滤和汇总 Cloud Data Fusion 流水线和实例指标。自定义指标视图时，您可以使用这两种标签类型中的一种或两种。

Cloud Data Fusion 流水线受监控的资源标签

使用以下 Cloud Data Fusion 流水线受监控的资源标签过滤和汇总指标：

标签名称 说明
resource_container 客户项目的 ID。
org_id 客户项目所属组织的 ID。
location 实例所在的可用区或区域。
edition Cloud Data Fusion 实例的版本。
is_private_ip_enabled 实例是否使用内部 IP 地址。
version 实例的 Cloud Data Fusion 数据平面版本。
instance_id Cloud Data Fusion 实例 ID。
namespace 流水线的命名空间。
pipeline_id 流水线 ID。
run_id 流水线的运行 ID。

流水线指标标签

在 Monitoring 中使用以下 Cloud Data Fusion 指标标签过滤和汇总指标：

名称 指标 说明 指标标签
流水线运行状态 datafusion.googleapis.com/pipeline/v2/runs_completed_count 已完成运行的流水线的累计数量。
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
流水线运行时间 datafusion.googleapis.com/pipeline/v2/pipeline_duration 完成流水线运行所用的时间。
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
流水线启动延迟时间 datafusion.googleapis.com/pipeline/v2/pipeline_start_latency 流水线达到正在运行状态所花费的时间。
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
预配延迟时间 datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Managed Service for Apache Spark 集群的预配延迟时间。
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Dataproc API 请求 datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Dataproc API 请求的累计计数。
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
流水线预览运行时间 datafusion.googleapis.com/pipeline/v2/preview_duration 完成预览所用的时间。
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
流水线已写入字节数 datafusion.googleapis.com/pipeline/v2/write_bytes_count 流水线写入的累计字节数。
  • enable_rbac
  • private_service_connect_enabled
流水线已读取字节数 datafusion.googleapis.com/pipeline/v2/read_bytes_count 流水线读取的累计字节数。
  • enable_rbac
  • private_service_connect_enabled
流水线已 shuffle 字节数 datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count 流水线中 shuffle 的累计字节数。
  • enable_rbac
  • private_service_connect_enabled
插件处理输入记录 datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count 进入插件的记录的累计数量。
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
插件处理输出记录 datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count 退出插件的记录的累计数量。
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Cloud Data Fusion 实例受监控的资源标签

从 Cloud Data Fusion 版本 6.11.1.1 开始，InstanceV3 (datafusion.googleapis.com/InstanceV3) 受监控的资源是实例级指标的默认资源类型。所有新实例以及升级到 6.11.1.1 或更高版本的实例都会自动使用 InstanceV3 发出指标和日志。InstanceV3 资源结构与之前的版本不同，它移除了 org_id 和 namespace 标签。

默认情况下，Cloud Data Fusion 6.11.1.1 版及更高版本中停用了 InstanceV2 指标的发布。不过，如果您需要向后兼容现有信息中心或查询，可以使用 Cloud Data Fusion REST API 重新启用 InstanceV2 与 InstanceV3 一起发出。

您可以使用以下 Cloud Data Fusion 实例受监控的资源标签过滤和汇总指标。

InstanceV3 受监控的资源标签

标签名称 说明
resource_container 客户项目的 ID。
location 实例所在的可用区或区域。
edition 相应实例的版本。
is_private_ip_enabled 实例是否使用内部 IP 地址。
version 实例的 Cloud Data Fusion 数据平面版本。
instance_id Cloud Data Fusion 实例 ID。

InstanceV2 受监控的资源标签

标签名称 说明
resource_container 客户项目的 ID。
org_id 客户项目所属组织的 ID。
location 实例所在的可用区或区域。
edition 相应实例的版本。
is_private_ip_enabled 实例是否使用内部 IP 地址。
version 实例的 Cloud Data Fusion 数据平面版本。
instance_id Cloud Data Fusion 实例 ID。
namespace 命名空间名称。

实例指标标签

在 Monitoring 中使用以下 Cloud Data Fusion 指标标签过滤和汇总指标。

InstanceV3 指标标签

名称 指标 说明 指标标签
服务状态 datafusion.googleapis.com/instance/v3/service_available Cloud Data Fusion 服务的可用性。
  • service
  • enable_rbac
  • private_service_connect_enabled
已部署的流水线数量 datafusion.googleapis.com/instance/v3/pipelines 已部署的流水线数量。
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
正在运行的并发流水线数量 datafusion.googleapis.com/instance/v3/concurrent_pipelines_running 并发运行的流水线数量。
  • enable_rbac
  • private_service_connect_enabled
并发流水线启动次数 datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched 处于正在配置或正在启动状态的流水线数量。
  • enable_rbac
  • private_service_connect_enabled
收到的 CDAP REST API 请求 datafusion.googleapis.com/instance/v3/api_request_count 后端服务收到的 REST API 请求的累计数量。
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
发送的 CDAP REST API 响应 datafusion.googleapis.com/instance/v3/api_response_count 后端服务发送的 REST API 响应的累计数量。
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
授权检查次数 datafusion.googleapis.com/instance/v3/authorization_check_count 访问权限执行器进行的授权检查的累计次数。
  • enable_rbac
  • type
  • private_service_connect_enabled
授权检查时间 datafusion.googleapis.com/instance/v3/authorization_check_time 访问权限执行器进行的授权检查的延迟时间。
  • enable_rbac
  • type
  • private_service_connect_enabled
草稿流水线数量 datafusion.googleapis.com/instance/v3/draft_pipelines 草稿流水线的数量。
  • enable_rbac
  • private_service_connect_enabled
命名空间数量 datafusion.googleapis.com/instance/v3/namespaces 命名空间的数量。
  • enable_rbac
  • private_service_connect_enabled

InstanceV2 指标标签

名称 指标 说明 指标标签
服务状态 datafusion.googleapis.com/instance/v2/service_available Cloud Data Fusion 服务的可用性。
  • service
  • enable_rbac
  • private_service_connect_enabled
已部署的流水线数量 datafusion.googleapis.com/instance/v2/pipelines 已部署的流水线数量。
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
正在运行的并发流水线数量 datafusion.googleapis.com/instance/v2/concurrent_pipelines_running 并发运行的流水线数量。
  • enable_rbac
  • private_service_connect_enabled
并发流水线启动次数 datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched 处于正在配置或正在启动状态的流水线数量。
  • enable_rbac
  • private_service_connect_enabled
收到的 CDAP REST API 请求 datafusion.googleapis.com/instance/v2/api_request_count 后端服务收到的 REST API 请求的累计数量。
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
发送的 CDAP REST API 响应 datafusion.googleapis.com/instance/v2/api_response_count 后端服务发送的 REST API 响应的累计数量。
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
授权检查次数 datafusion.googleapis.com/instance/v2/authorization_check_count 访问权限执行器进行的授权检查的累计次数。
  • enable_rbac
  • type
  • private_service_connect_enabled
授权检查时间 datafusion.googleapis.com/instance/v2/authorization_check_time 访问权限执行器进行的授权检查的延迟时间。
  • enable_rbac
  • type
  • private_service_connect_enabled
草稿流水线数量 datafusion.googleapis.com/instance/v2/draft_pipelines 草稿流水线的数量。
  • enable_rbac
  • private_service_connect_enabled
命名空间数量 datafusion.googleapis.com/instance/v2/namespaces 命名空间的数量。
  • enable_rbac
  • private_service_connect_enabled

管理 InstanceV2 指标的发出

对于运行 6.11.1.1 版或更高版本的 Cloud Data Fusion 实例，默认情况下会停用 InstanceV2 指标的发出。如果您需要与使用旧格式的控制面板或提醒保持向后兼容性，可以使用 Cloud Data Fusion REST API 重新启用 InstanceV2 指标。

启用 InstanceV2 指标

如需启用 InstanceV2 指标的发送，请使用 instances.patch 方法并将 enable_instance_v2_metrics 设置为 true：

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

替换以下内容：

  • PROJECT_ID： Google Cloud 项目 ID
  • LOCATION：实例的位置
  • INSTANCE_ID：Cloud Data Fusion 实例的 ID

停用 InstanceV2 指标

如需停用 InstanceV2 指标并恢复为默认行为（仅发出 InstanceV3 指标），请使用 instances.patch 方法并将 enable_instance_v2_metrics 设置为 false：

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

替换以下内容：

  • PROJECT_ID： Google Cloud 项目 ID
  • LOCATION：实例的位置
  • INSTANCE_ID：Cloud Data Fusion 实例的 ID

将 Cloud Monitoring 查询从 InstanceV2 迁移到 InstanceV3

从 Cloud Data Fusion 版本 6.11.1.1 开始，InstanceV3 (datafusion.googleapis.com/InstanceV3) 受监控的资源是实例级指标的默认资源类型。如果您有以 InstanceV2 为目标对象的现有监控信息中心、图表或提醒政策，可以更新这些内容，以使用 InstanceV3 资源类型和指标路径。

如需迁移查询，请按以下步骤操作：

  1. 更改资源类型：将 resource.type 从 datafusion.googleapis.com/InstanceV2 更新为 datafusion.googleapis.com/InstanceV3。

  2. 更新了指标名称：将指标路径从 .../instance/v2/... 更改为 .../instance/v3/...。

  3. 移除标签：移除基于 resource.labels.org_id 或 resource.labels.namespace 的任何过滤条件或汇总，因为这些标签在 InstanceV3 中不存在。

例如，如果您的现有 InstanceV2 查询如下所示：

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

按如下方式更新：

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

后续步骤