支持的模型和架构

配置对象丰富化功能时，您可以选择哪些机器学习模型来分析存储的对象。每个模型都会评估符合条件的图片或 PDF 文档，并将结构化元数据直接附加到 Cloud Storage 对象。

本页面介绍了每种受支持的模型、其资格要求以及其输出架构，以帮助您在 BigQuery 中或通过 API 解析和查询丰富元数据。

模型与对象丰富化之间的关系

您可以通过创建特征配置 (FeatureConfig) 来激活模型，该配置指定要扫描的存储桶以及要运行的模型。在异步处理期间，Cloud Storage 会使用您选择的模型评估符合条件的对象，并生成名为对象丰富化的结构化 JSON 元数据。

每个模型都会生成一个专用的 JSON 载荷，Cloud Storage 会将该载荷作为 Google 管理的对象上下文直接附加到 contexts.custom 属性下的对象。每个载荷都由一个以 google:annotation: 为前缀的唯一上下文键标识。

根据您的工作流，您可以通过以下两种方式使用此元数据：

• 检查单个对象：使用对象 API（例如 viewFullContext 方法 [预览版]）检索特定对象的丰富信息。
• 大规模分析：使用 Storage Insights 数据集和 BigQuery 中的标准 SQL 查询存储桶中所有对象的丰富元数据。

人脸检测

使用 face-detector 模型检测存储的图片中的人脸。该模型可检测整个头部和各个面部的边界多边形，并定位 36 个面部特征点，例如眼睛、鼻子和嘴巴。它还会计算头部方向角度（例如侧倾、平移和倾斜），并评估情绪表达的可能性。

模型详情

• 模型名称：face-detector
• 上下文键：google:annotation:face-detector-v1
• 符合条件的对象：大小不超过 20 MiB 且 Content-Type 为 BMP、GIF、ICO、JPEG、PNG、TIFF 或 WEBP 的图片对象。

输出架构

模型会输出一个 JSON 对象，其中包含 modelName、modelVersion 和一个包含 faceAnnotations 数组的 faceAnnotationGroup。如果模型执行失败，则 JSON 对象包含 error 对象，而不是 faceAnnotationGroup。

BoundingPoly

BoundingPoly 对象表示一个边界多边形，其中包含检测到的图片特征。

Vertex

Vertex 对象表示缩放到原始图片尺寸的 2D 坐标点。

NormalizedVertex

NormalizedVertex 对象表示一个 2D 坐标点，以相对于原始图片尺寸的比率表示。

FaceLandmark

FaceLandmark 对象表示在人脸中检测到的特定面部地标。

地标类型

该模型可识别 36 个特定的面部特征点：

• TYPE_UNSPECIFIED
• LEFT_EYE
• RIGHT_EYE
• LEFT_OF_LEFT_EYEBROW
• RIGHT_OF_LEFT_EYEBROW
• LEFT_OF_RIGHT_EYEBROW
• RIGHT_OF_RIGHT_EYEBROW
• MIDPOINT_BETWEEN_EYES
• NOSE_TIP
• UPPER_LIP
• LOWER_LIP
• MOUTH_LEFT
• MOUTH_RIGHT
• MOUTH_CENTER
• NOSE_BOTTOM_RIGHT
• NOSE_BOTTOM_LEFT
• NOSE_BOTTOM_CENTER
• LEFT_EYE_TOP_BOUNDARY
• LEFT_EYE_RIGHT_CORNER
• LEFT_EYE_BOTTOM_BOUNDARY
• LEFT_EYE_LEFT_CORNER
• RIGHT_EYE_TOP_BOUNDARY
• RIGHT_EYE_RIGHT_CORNER
• RIGHT_EYE_BOTTOM_BOUNDARY
• RIGHT_EYE_LEFT_CORNER
• LEFT_EYEBROW_UPPER_MIDPOINT
• RIGHT_EYEBROW_UPPER_MIDPOINT
• LEFT_EAR_TRAGION
• RIGHT_EAR_TRAGION
• LEFT_EYE_PUPIL
• RIGHT_EYE_PUPIL
• FOREHEAD_GLABELLA
• CHIN_GNATHION
• CHIN_LEFT_GONION
• CHIN_RIGHT_GONION
• LEFT_CHEEK_CENTER
• RIGHT_CHEEK_CENTER

位置

Position 对象表示面部重要部位的 3D 坐标。

示例输出

{
  "modelName": "face-detector",
  "modelVersion": "v1",
  "faceAnnotationGroup": {
    "faceAnnotations": [
      {
        "boundingPoly": {
          "vertices": [
            { "x": 1079, "y": 148 },
            { "x": 2152, "y": 148 },
            { "x": 2152, "y": 1396 },
            { "x": 1079, "y": 1396 }
          ],
          "normalizedVertices": [
            { "x": 0.35, "y": 0.12 },
            { "x": 0.70, "y": 0.12 },
            { "x": 0.70, "y": 0.95 },
            { "x": 0.35, "y": 0.95 }
          ]
        },
        "faceDetectionBoundingPoly": {
          "vertices": [
            { "x": 1190, "y": 427 },
            { "x": 2037, "y": 427 },
            { "x": 2037, "y": 1285 },
            { "x": 1190, "y": 1285 }
          ]
        },
        "landmarks": [
          {
            "type": "LEFT_EYE",
            "position": { "x": 1368.8, "y": 737.6, "z": 0.0016 }
          },
          {
            "type": "RIGHT_EYE",
            "position": { "x": 1659.2, "y": 755.1, "z": -116.4 }
          }
        ],
        "rollAngle": 1.959,
        "panAngle": -21.954,
        "tiltAngle": -2.267,
        "detectionConfidence": 0.98,
        "landmarkingConfidence": 0.61,
        "joyProbability": 0.18,
        "headwearProbability": 0.80
      }
    ]
  }
}

对象检测

使用 object-detector 模型检测和跟踪图片中的多个不同对象。对于每个识别出的对象，模型会提供实体名称、知识图谱实体 ID (knowledgeGraphId)、置信度分数和边界坐标。

模型详情

• 模型名称：object-detector
• 上下文键：google:annotation:object-detector-v1
• 符合条件的对象：大小不超过 20 MiB 且 Content-Type 为 BMP、GIF、ICO、JPEG、PNG、TIFF 或 WEBP 的图片对象。

输出架构

模型会输出一个 JSON 对象，其中包含 modelName、modelVersion 和一个包含 objectAnnotations 数组的 objectAnnotationGroup。如果模型执行失败，则 JSON 对象包含 error 对象，而不是 objectAnnotationGroup。

示例输出

{
  "modelName": "object-detector",
  "modelVersion": "v1",
  "objectAnnotationGroup": {
    "objectAnnotations": [
      {
        "knowledgeGraphId": "/m/01g317",
        "name": "Person",
        "score": 0.89,
        "boundingPoly": {
          "normalizedVertices": [
            { "x": 0.1, "y": 0.15 },
            { "x": 0.2, "y": 0.15 },
            { "x": 0.2, "y": 0.3 },
            { "x": 0.1, "y": 0.3 }
          ]
        }
      }
    ]
  }
}

常规图片标签

使用 label-detector 模型为图片生成描述性标签、关键字和广泛的语义类别。该模型可识别一般实体、场景、活动和位置（例如 Landscape、Urban 或 Night），从而使您的视觉资源可搜索和可编目。

模型详情

• 模型名称：label-detector
• 上下文键：google:annotation:label-detector-v1
• 符合条件的对象：大小不超过 20 MiB 且 Content-Type 为 BMP、GIF、ICO、JPEG、PNG、TIFF 或 WEBP 的图片对象。

输出架构

模型会输出一个 JSON 对象，其中包含 modelName、modelVersion 和一个包含 labelAnnotations 数组的 labelAnnotationGroup。如果模型执行失败，则 JSON 对象包含 error 对象，而不是 labelAnnotationGroup。

示例输出

{
  "modelName": "label-detector",
  "modelVersion": "v1",
  "labelAnnotationGroup": {
    "labelAnnotations": [
      {
        "knowledgeGraphId": "/m/01d74z",
        "description": "Night",
        "score": 0.92,
        "topicality": 0.19
      }
    ]
  }
}

露骨内容检测

使用 content-safety 模型筛查上传的图片中是否包含敏感、露骨或不当内容。该模型会根据 Google 安全政策评估图片。它会评估成人内容、暴力内容和其他敏感内容的可能性，帮助您自动执行内容审核工作流。

模型详情

• 模型名称：content-safety
• 上下文键：google:annotation:content-safety-v1
• 符合条件的对象：大小不超过 20 MiB 且 Content-Type 为 BMP、GIF、ICO、JPEG、PNG、TIFF 或 WEBP 的图片对象。

输出架构

模型会输出一个 JSON 对象，其中包含 modelName、modelVersion 和一个带有可能性评分的 contentSafetyAnnotation 对象。如果模型执行失败，则 JSON 对象包含 error 对象，而不是 contentSafetyAnnotation。

示例输出

{
  "modelName": "content-safety",
  "modelVersion": "v1",
  "contentSafetyAnnotation": {
    "adultContentLikelihood": "VERY_UNLIKELY",
    "violentContentLikelihood": "UNLIKELY"
  }
}

PDF 分类

使用 pdf-classification 模型，根据 PDF 文档的文本和视觉结构自动对其进行分类。该模型会为业务、行业和主题分配标准化的分层类别。这些类别可帮助您整理大型文档集合、为生成式 AI 检索提供依据，以及将文档路由到下游工作流。

模型详情

• 模型名称：pdf-classification
• 上下文键：google:annotation:pdf-classification-v1
• 符合条件的对象：Content-Type 为 application/pdf 且大小不超过 20 MiB 的 PDF 文档对象。

输出架构

模型会输出一个 JSON 对象，其中包含 modelName、modelVersion 和一个 pdfClassificationCategoryList，后者包含一个已分类 categories 的数组。如果模型执行失败，则 JSON 对象包含 error 对象，而不是 pdfClassificationCategoryList。

支持的类别

pdf-classification 模型会为 PDF 文档分配标准化的分层内容类别。

类别采用分层结构，使用正斜杠 (/) 分隔类别深度。它们从广泛的顶级行业开始，然后缩小到特定的子类别：

• 顶级行业：广泛的主题领域，例如 /Finance、/Law & Government 或 /Computers & Electronics。
• 子类别：行业内的特定主题，例如 /Finance/Accounting & Auditing/Tax Preparation & Planning。
• /Other 子类别：适用于与父类别一致但不属于任何特定子类别的内容。

如果文档涵盖多个不同的主题，模型可以为单个 PDF 对象分配多个高置信度类别。

顶级类别

该模型将 PDF 文档分为 27 个顶级类别：

• /Adult
• /Arts & Entertainment
• /Autos & Vehicles
• /Beauty & Fitness
• /Books & Literature
• /Business & Industrial
• /Computers & Electronics
• /Finance
• /Food & Drink
• /Games
• /Health
• /Hobbies & Leisure
• /Home & Garden
• /Internet & Telecom
• /Jobs & Education
• /Law & Government
• /News
• /Online Communities
• /People & Society
• /Pets & Animals
• /Real Estate
• /Reference
• /Science
• /Sensitive Subjects
• /Shopping
• /Sports
• /Travel & Transportation

子类别遵循这些顶级类别下的分层路径 /Top-Level-Vertical/Subcategory，并可选择更深层次。如需查看所有受支持类别路径的完整列表，请参阅 PDF 分类类别。

示例输出

{
  "modelName": "pdf-classification",
  "modelVersion": "v1",
  "pdfClassificationCategoryList": {
    "categories": [
      {
        "label": "/Finance/Accounting & Auditing/Tax Preparation & Planning",
        "score": 0.85
      },
      {
        "label": "/Business & Industrial/Printing & Publishing/Document & Printing Services",
        "score": 0.25
      }
    ]
  }
}

后续步骤

• 了解对象丰富化。
• 配置对象丰富化。
• 管理对象丰富化。
• 在 BigQuery 中分析对象丰富化。
• 查看 featureConfigs JSON API 资源。
• 排查对象丰富功能问题。