导出到 Google 管理的 BigQuery 项目

Google SecOps 通过将数据导出到 BigQuery，提供了一个包含标准化遥测数据和经过威胁情报丰富的数据的托管式数据湖。这样一来，您将能够：

• 直接在 BigQuery 中运行临时查询。
• 使用您自己的商业智能工具（例如 Looker 或 Microsoft Power BI）创建信息中心、报告和分析。
• 将 Google SecOps 数据与第三方数据集联接。
• 使用数据科学或机器学习工具运行分析。
• 使用预定义的默认信息中心和自定义信息中心运行报告。

Google SecOps 会将以下类别的数据导出到 BigQuery：

• UDM 事件记录：根据客户提取的日志数据创建的 UDM 记录。 这些记录会添加别名信息。
• 规则匹配项（检测结果）：规则与一个或多个事件匹配的实例。
• IoC 匹配：与失陷指标 (IoC) Feed 匹配的事件中的制品（例如网域、IP 地址）。这包括与全球 Feed 和特定客户 Feed 的匹配。
• 提取指标：包括统计信息，例如提取的日志行数、从日志生成的事件数、指示日志无法解析的日志错误数，以及 Google SecOps 转发器的状态。如需了解详情，请参阅提取指标 BigQuery 架构。
• 实体图和实体关系：存储实体及其与其他实体之间关系的说明。

表格概览

Google SecOps 会在 BigQuery 中创建 datalake 数据集和以下表格：

• entity_enum_value_to_name_mapping：对于 entity_graph 表中的枚举类型，将数值映射到字符串值。
• entity_graph：存储有关 UDM 实体的数据。
• events：存储有关 UDM 事件的数据。
• ingestion_metrics：存储与从特定注入源（例如 Google SecOps 转发器、Feed 和 Ingestion API）注入和规范化数据相关的统计信息。
• ioc_matches：存储根据 UDM 事件发现的 IOC 匹配项。
• job_metadata：用于跟踪数据导出到 BigQuery 的内部表。
• rule_detections：存储在 Google SecOps 中运行的规则返回的检测结果。此表仅包含导出流程运行时处于有效状态（例如已启用且未被删除）的规则检测到的结果。即使检测时间在查询范围内，此表也不会包含导出作业执行之前已停用或删除的规则的检测结果。
• rulesets：存储有关 Google SecOps 精选检测的信息，包括每个规则集所属的类别、是否已启用以及当前的提醒状态。
• udm_enum_value_to_name_mapping：对于 events 表中的枚举类型，将数值映射到字符串值。
• udm_events_aggregates：存储按小时汇总的归一化事件数据。我们会尽最大努力填充此表格。每小时的数据可能不会立即提供，并且可能存在填充延迟。

数据新鲜度和导出时间表

BigQuery 表中的数据会以不同的时间间隔进行更新。了解这些因素有助于您设定数据可用性预期：

• UDM 事件（events 表）：通常会频繁更新，数据通常会在提取后大约两小时内提供。
• 尽力而为的导出：许多其他数据集都是以尽力而为的方式导出的。这包括但不限于：
  • udm_events_aggregates
  • rule_detections
  • ioc_matches
  • entity_graph
  • ingestion_metrics

对于尽力导出的表格，虽然更新是定期进行的，但没有严格的延迟或时间承诺。可能会出现延迟，对于每小时汇总（例如 udm_events_aggregates），每小时的数据可能不会在小时结束时立即提供。数据通常会在一天内更新。

访问 BigQuery 中的数据

您可以直接在 BigQuery 中运行查询，也可以将自己的商业智能工具（例如 Looker 或 Microsoft Power BI）连接到 BigQuery。

如需启用对 BigQuery 实例的访问权限，请使用 Google SecOps BigQuery Access API。您可以提供自己拥有的用户或群组的电子邮件地址。如果您配置了对群组的访问权限，请使用该群组来管理哪些团队成员可以访问 BigQuery 实例。

如需将 Looker 或其他商业智能工具连接到 BigQuery，请与您的 Google SecOps 代表联系，获取服务账号凭据，以便您将应用连接到 Google SecOps BigQuery 数据集。该服务账号将具有 IAM BigQuery Data Viewer 角色 (roles/bigquery.dataViewer) 和 BigQuery Job Viewer 角色 (roles/bigquery.jobUser)。

数据保留

对于使用 Google 管理的 BigQuery 的 Google SecOps 企业 Plus 版客户，以下保留设置适用：

• 旧版 Google SecOps 企业 Plus 版客户（处于弃用阶段）：

  • ioc_matches 和 rule_detections 表：由于数据量较小，未设置保留期限限制。
  • entity_graph、udm_events_aggregates 和其他分区表（events 表除外）：180 天。
  • events 表（UDM 事件）：数据保留期限取决于您的 Google SecOps 合同，如果合同中未指定，则默认保留期限为 366 天。

• 新客户：数据保留期限受 Google SecOps 合同的约束（与高级 BigQuery 导出功能一致）。

后续步骤

• 详细了解以下架构：
  • events
  • ingestion_metrics
• 如需了解如何在 BigQuery 中访问和运行查询，请参阅运行交互式查询作业和批量查询作业。
• 如需了解如何查询分区表，请参阅查询分区表。
• 如需了解如何将 Looker 连接到 BigQuery，请参阅有关连接到 BigQuery 的 Looker 文档。

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。