跨计算实例管理主机事件

本文档介绍了如何监控、规划和执行 A4X Max、A4X、A4、A3 Ultra、A3 Mega 和 A3 High（8 个 GPU）实例的预定维护。主动管理 Compute Engine 实例上即将发生的维护主机事件，您可以最大限度地减少中断并保持最佳性能。

如需了解有关维护基础架构的更多选项，请参阅以下内容：

• 如需管理对预留容量块的维护（无论计算实例是否在这些容量块上运行），请参阅跨预留管理主机事件。

• 如需在 Cluster Director 中管理集群维护，请参阅管理集群健康状况。

准备工作

选择标签页以了解您打算如何使用本页面上的示例：

gcloud init

所需的角色

如需获得管理整个计算实例过程中的宿主机维护事件所需的权限，请让您的管理员为您授予以下 IAM 角色：

• 针对项目的 Compute Admin (roles/compute.admin)
• 如需对系统事件审核日志拥有只读权限，请使用以下角色：针对项目的 Logs Viewer (roles/logging.viewer)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含管理计算实例中的主机维护事件所需的权限。如需查看所需的确切权限，请展开所需权限部分：

您也可以使用自定义角色或其他预定义角色来获取这些权限。

概览

如需优化计算实例的维护，请完成以下步骤：

1. 了解并处理主机维护。了解实例的维护频率和行为（具体取决于其机器系列），并了解如何准备工作负载以处理主机维护。这些信息有助于您最大限度地减少中断并防止数据丢失。

2. 设置通知提醒。创建基于日志的提醒，以便在安排、启动或完成实例维护时收到通知。此方法有助于您主动规划活动，避免意外停机。

3. 跨实例管理维护。查看是否已为实例安排维护。如有需要，您可以跨实例手动启动维护。此流程有助于您提高工作负载对主机事件的应对能力，防止停机，并最大限度地提高应用的可用性。

了解并处理主机维护

在 Compute Engine 实例的生命周期内，运行实例的宿主机会经历多个主机事件。 主机活动可以包括以下内容：

• Compute Engine 基础架构的计划内维护。
• 在发生主机错误或收到主机故障报告后，为修复 Compute Engine 基础设施而进行的计划外紧急维护。

下表介绍了针对加速器优化型机器类型的主机维护功能：

上表中所示的维护频率为近似值，并不保证准确。 Compute Engine 有时可能更频繁地执行维护。

为防止丢失数据或进度，请配置工作负载以处理主机维护。例如，在工作负载停止之前，使用以下方法保存临时数据和进度：

• 将临时数据从本地 SSD 磁盘迁移出去

• 使用训练检查点

为计算实例设置通知提醒

您可以创建基于日志的提醒政策，以便在为实例安排、启动或完成维护事件时收到通知。

如需为实例的维护事件创建提醒，请完成以下步骤。针对要创建的每个提醒重复此过程。

1. 在 Google Cloud 控制台中，前往 segment Logs Explorer 页面：

   前往 Logs Explorer

   如果您使用搜索栏查找此页面，请选择子标题为 Logging 的结果。

2. 点击显示查询切换开关以切换到开启位置。

3. 在查询窗格中，构建以下查询之一。这些查询会过滤日志条目，以识别特定的维护事件。如果您想使用多个查询，请重复此过程，为每个查询创建唯一的提醒。

   • 如需在安排实例维护时收到提醒，请构建以下查询：

     protoPayload.methodName="compute.instances.upcomingMaintenance" severity>=DEFAULT
     protoPayload.status.message =~ "scheduled"
     

   • 如需在实例的维护窗口开启时收到提醒，请构建以下查询：

     protoPayload.methodName="compute.instances.upcomingMaintenance" severity>=DEFAULT
     protoPayload.status.message =~ "ongoing"
     

   • 如需在实例维护开始时收到提醒，请构建以下查询：

     protoPayload.methodName="compute.instance.terminateOnHostMaintenance" severity>=DEFAULT
     

   • 如需在实例维护完成后收到提醒，请构建以下查询：

     protoPayload.methodName="compute.instances.upcomingMaintenance" severity>=DEFAULT
     protoPayload.status.message =~ "completed"
     

4. 如需验证查询，请点击运行查询。如果查询有效，则查询结果窗格会显示与查询匹配的日志条目。

5. 在查询结果工具栏中，点击操作列表，然后选择 add_alert 创建日志提醒。系统会显示创建基于日志的提醒政策窗格。

6. 在提醒详情部分中，执行以下操作：

   1. 在提醒政策名称字段中，输入政策的名称。

   2. 在政策严重级别列表中，选择警告（或更高的严重级别）。

   3. 点击下一步。

7. 在选择要包含在提醒中的日志部分中，点击下一步。

8. 在设置通知频率和自动关闭时长部分中，指定以下内容：

   1. 在通知间隔时间列表中，选择您希望接收通知的频率。

   2. 在突发事件自动关闭时长列表中，选择 Cloud Logging 在多久后停止发送通知并自动关闭突发事件。

   3. 点击下一步。

9. 在应通知的人员部分中，为 Logging 指定通知渠道，以便向其发送通知。

10. 点击保存。

如需在 Logs Explorer 中查看维护事件通知示例，请参阅 Compute Engine 文档中的维护通知示例。

跨计算实例管理维护

您可以执行以下一项或多项操作，查看和控制实例的维护：

• 如需查看实例即将进行的维护的状态和预定时间，请查看实例的维护状态。

• 如需立即对实例启动维护，而不是等待预定维护时间，请对实例手动启动维护。

查看计算实例的维护状态

您可以通过检查实例元数据中 upcomingMaintenance 字段的值，查看实例即将进行的维护的状态和预定时间。如果实例不包含 upcomingMaintenance 字段，则系统不会为该实例安排任何主机维护事件。如需详细了解 upcomingMaintenance 中的字段，请参阅 Compute Engine 文档中的维护状态定义。

此外，如果已为实例安排维护，则 upcomingGroupMaintenance 字段会包含 maintenanceReasons 字段。此字段用于说明为实例安排维护的原因，如下表所述：

如需查看实例中的 maintenanceReasons 字段，您必须使用 gcloud CLI 或 REST API。如需同时查看多个计算实例的维护状态，您必须使用 Google Cloud 控制台或 REST API。否则，请选择以下选项之一：

gcloud compute instances describe INSTANCE_NAME \
    --flatten=resourceStatus.upcomingMaintenance \
    --zone=ZONE

{
  "items": [
    {
      "name": "vm-01",
      "machineType": "https://www.googleapis.com/compute/v1/projects/example-project/zones/europe-west1-b/machineTypes/a3-ultragpu-8g",
      "resourceStatus": {
        "upcomingMaintenance": {
          "canReschedule": true,
          "latestWindowStartTime": "2024-11-01T19:00:00Z",
          "maintenanceStatus": "PENDING",
          "maintenanceReasons": [
            "PLANNED_UPDATE",
            "PLANNED_NETWORK_UPDATE"
          ],
          "type": "SCHEDULED",
          "windowEndTime": "2024-11-01T22:00:00Z",
          "windowStartTime": "2024-11-01T19:00:00Z"
        }
      }
    },
    ...
  ]
}

手动对计算实例启动维护

您可以对实例手动启动维护，而不是等待预定时间。

根据实例的维护状态，会发生以下情况：

您可以同时为多个实例或为单个实例手动启动维护。对于多个实例，请使用 Google Cloud 控制台或 gcloud CLI（后者适用于位于同一可用区中的实例）。对于单个实例，请选择以下任一选项：

gcloud compute instances perform-maintenance INSTANCE_NAMES \
    --zone=ZONE

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/INSTANCE_NAME/performMaintenance

后续步骤

• 如需在主机事件后测试工作负载，请参阅基准比较方案。

• 如需详细了解如何监控虚拟机，请参阅监控虚拟机和 Slurm 集群。