Model dan skema yang didukung

Saat mengonfigurasi pengayaan objek, Anda memilih model machine learning yang akan menganalisis objek yang disimpan. Setiap model mengevaluasi gambar atau dokumen PDF yang memenuhi syarat dan melampirkan metadata terstruktur langsung ke objek Cloud Storage Anda.

Halaman ini menjelaskan setiap model yang didukung, persyaratan kelayakannya, dan skema outputnya untuk membantu Anda mengurai dan mengkueri metadata pengayaan di BigQuery atau melalui API.

Hubungan antara model dan pengayaan objek

Anda mengaktifkan model dengan membuat konfigurasi fitur (FeatureConfig) yang menentukan bucket yang akan dipindai dan model yang akan dijalankan. Selama pemrosesan asinkron, Cloud Storage mengevaluasi objek yang memenuhi syarat menggunakan model yang Anda pilih dan menghasilkan metadata JSON terstruktur yang disebut pengayaan objek.

Setiap model menghasilkan payload JSON khusus yang dilampirkan Cloud Storage langsung ke objek sebagai konteks objek yang dikelola Google di properti contexts.custom. Kunci konteks unik yang diawali dengan google:annotation: mengidentifikasi setiap payload.

Bergantung pada alur kerja, Anda dapat menggunakan metadata ini dengan dua cara:

• Memeriksa objek satu per satu: Ambil pengayaan untuk objek tertentu menggunakan API objek, seperti metode viewFullContext (Pratinjau).
• Menganalisis dalam skala besar: Buat kueri metadata yang diperkaya di semua objek dalam bucket menggunakan set data Insight Penyimpanan dan SQL standar di BigQuery.

Deteksi wajah

Gunakan model face-detector untuk mendeteksi wajah manusia dalam gambar yang disimpan. Model ini mendeteksi poligon pembatas untuk seluruh kepala dan masing-masing wajah, serta menemukan 36 penanda wajah, seperti mata, hidung, dan mulut. API ini juga menghitung sudut orientasi kepala, seperti roll, pan, dan tilt, serta menilai kemungkinan ekspresi emosional.

Detail model

• Nama model: face-detector
• Kunci konteks: google:annotation:face-detector-v1
• Objek yang memenuhi syarat: Objek gambar berukuran 20 MiB atau lebih kecil dengan Content-Type yang didukung, yaitu BMP, GIF, ICO, JPEG, PNG, TIFF, atau WEBP.

Skema output

Output model menghasilkan objek JSON yang berisi modelName, modelVersion, dan faceAnnotationGroup dengan array faceAnnotations. Jika eksekusi model gagal, objek JSON akan berisi objek error, bukan faceAnnotationGroup.

BoundingPoly

Objek BoundingPoly mewakili poligon pembatas yang mencakup fitur gambar yang terdeteksi.

Vertex

Objek Vertex mewakili titik koordinat 2D yang diskalakan ke dimensi gambar asli.

NormalizedVertex

Objek NormalizedVertex mewakili titik koordinat 2D yang dinyatakan sebagai rasio relatif terhadap dimensi gambar asli.

FaceLandmark

Objek FaceLandmark mewakili penanda wajah tertentu yang terdeteksi dalam wajah.

Jenis tempat terkenal

Model ini mengenali 36 penanda wajah tertentu:

• TYPE_UNSPECIFIED
• LEFT_EYE
• RIGHT_EYE
• LEFT_OF_LEFT_EYEBROW
• RIGHT_OF_LEFT_EYEBROW
• LEFT_OF_RIGHT_EYEBROW
• RIGHT_OF_RIGHT_EYEBROW
• MIDPOINT_BETWEEN_EYES
• NOSE_TIP
• UPPER_LIP
• LOWER_LIP
• MOUTH_LEFT
• MOUTH_RIGHT
• MOUTH_CENTER
• NOSE_BOTTOM_RIGHT
• NOSE_BOTTOM_LEFT
• NOSE_BOTTOM_CENTER
• LEFT_EYE_TOP_BOUNDARY
• LEFT_EYE_RIGHT_CORNER
• LEFT_EYE_BOTTOM_BOUNDARY
• LEFT_EYE_LEFT_CORNER
• RIGHT_EYE_TOP_BOUNDARY
• RIGHT_EYE_RIGHT_CORNER
• RIGHT_EYE_BOTTOM_BOUNDARY
• RIGHT_EYE_LEFT_CORNER
• LEFT_EYEBROW_UPPER_MIDPOINT
• RIGHT_EYEBROW_UPPER_MIDPOINT
• LEFT_EAR_TRAGION
• RIGHT_EAR_TRAGION
• LEFT_EYE_PUPIL
• RIGHT_EYE_PUPIL
• FOREHEAD_GLABELLA
• CHIN_GNATHION
• CHIN_LEFT_GONION
• CHIN_RIGHT_GONION
• LEFT_CHEEK_CENTER
• RIGHT_CHEEK_CENTER

Posisi

Objek Position mewakili koordinat 3D penanda wajah.

Contoh output

{
  "modelName": "face-detector",
  "modelVersion": "v1",
  "faceAnnotationGroup": {
    "faceAnnotations": [
      {
        "boundingPoly": {
          "vertices": [
            { "x": 1079, "y": 148 },
            { "x": 2152, "y": 148 },
            { "x": 2152, "y": 1396 },
            { "x": 1079, "y": 1396 }
          ],
          "normalizedVertices": [
            { "x": 0.35, "y": 0.12 },
            { "x": 0.70, "y": 0.12 },
            { "x": 0.70, "y": 0.95 },
            { "x": 0.35, "y": 0.95 }
          ]
        },
        "faceDetectionBoundingPoly": {
          "vertices": [
            { "x": 1190, "y": 427 },
            { "x": 2037, "y": 427 },
            { "x": 2037, "y": 1285 },
            { "x": 1190, "y": 1285 }
          ]
        },
        "landmarks": [
          {
            "type": "LEFT_EYE",
            "position": { "x": 1368.8, "y": 737.6, "z": 0.0016 }
          },
          {
            "type": "RIGHT_EYE",
            "position": { "x": 1659.2, "y": 755.1, "z": -116.4 }
          }
        ],
        "rollAngle": 1.959,
        "panAngle": -21.954,
        "tiltAngle": -2.267,
        "detectionConfidence": 0.98,
        "landmarkingConfidence": 0.61,
        "joyProbability": 0.18,
        "headwearProbability": 0.80
      }
    ]
  }
}

Deteksi objek

Gunakan model object-detector untuk mendeteksi dan melacak beberapa objek yang berbeda dalam gambar. Untuk setiap objek yang diidentifikasi, model memberikan nama entity, ID entity Pustaka Pengetahuan (knowledgeGraphId), skor keyakinan, dan koordinat pembatas.

Detail model

• Nama model: object-detector
• Kunci konteks: google:annotation:object-detector-v1
• Objek yang memenuhi syarat: Objek gambar berukuran 20 MiB atau lebih kecil dengan Content-Type yang didukung, yaitu BMP, GIF, ICO, JPEG, PNG, TIFF, atau WEBP.

Skema output

Model ini menghasilkan objek JSON yang berisi modelName, modelVersion, dan objectAnnotationGroup dengan array objectAnnotations. Jika eksekusi model gagal, objek JSON akan berisi objek error, bukan objectAnnotationGroup.

Contoh output

{
  "modelName": "object-detector",
  "modelVersion": "v1",
  "objectAnnotationGroup": {
    "objectAnnotations": [
      {
        "knowledgeGraphId": "/m/01g317",
        "name": "Person",
        "score": 0.89,
        "boundingPoly": {
          "normalizedVertices": [
            { "x": 0.1, "y": 0.15 },
            { "x": 0.2, "y": 0.15 },
            { "x": 0.2, "y": 0.3 },
            { "x": 0.1, "y": 0.3 }
          ]
        }
      }
    ]
  }
}

Pelabelan gambar umum

Gunakan model label-detector untuk membuat label deskriptif, kata kunci, dan kategori semantik yang luas untuk gambar. Model ini mengidentifikasi entitas umum, pemandangan, aktivitas, dan lokasi, seperti Landscape, Urban, atau Night, sehingga aset visual Anda dapat ditelusuri dan dikatalogkan.

Detail model

• Nama model: label-detector
• Kunci konteks: google:annotation:label-detector-v1
• Objek yang memenuhi syarat: Objek gambar berukuran 20 MiB atau lebih kecil dengan Content-Type yang didukung, yaitu BMP, GIF, ICO, JPEG, PNG, TIFF, atau WEBP.

Skema output

Output model menghasilkan objek JSON yang berisi modelName, modelVersion, dan labelAnnotationGroup dengan array labelAnnotations. Jika eksekusi model gagal, objek JSON akan berisi objek error, bukan labelAnnotationGroup.

Contoh output

{
  "modelName": "label-detector",
  "modelVersion": "v1",
  "labelAnnotationGroup": {
    "labelAnnotations": [
      {
        "knowledgeGraphId": "/m/01d74z",
        "description": "Night",
        "score": 0.92,
        "topicality": 0.19
      }
    ]
  }
}

Deteksi konten vulgar

Gunakan model content-safety untuk menyaring gambar yang diupload guna mendeteksi konten sensitif, vulgar, atau tidak pantas. Model ini mengevaluasi gambar berdasarkan kebijakan keamanan Google. Fitur ini menilai kemungkinan adanya materi khusus dewasa, kekerasan, dan materi sensitif lainnya untuk membantu Anda mengotomatiskan alur kerja moderasi konten.

Detail model

• Nama model: content-safety
• Kunci konteks: google:annotation:content-safety-v1
• Objek yang memenuhi syarat: Objek gambar berukuran 20 MiB atau lebih kecil dengan Content-Type yang didukung, yaitu BMP, GIF, ICO, JPEG, PNG, TIFF, atau WEBP.

Skema output

Output model menghasilkan objek JSON yang berisi modelName, modelVersion, dan objek contentSafetyAnnotation dengan rating kemungkinan. Jika eksekusi model gagal, objek JSON akan berisi objek error, bukan contentSafetyAnnotation.

Contoh output

{
  "modelName": "content-safety",
  "modelVersion": "v1",
  "contentSafetyAnnotation": {
    "adultContentLikelihood": "VERY_UNLIKELY",
    "violentContentLikelihood": "UNLIKELY"
  }
}

Klasifikasi PDF

Gunakan model pdf-classification untuk mengategorikan dokumen PDF secara otomatis berdasarkan struktur tekstual dan visualnya. Model ini menetapkan kategori hierarkis standar untuk bisnis, industri, dan topik. Kategori ini membantu Anda mengatur koleksi dokumen yang besar, melakukan grounding pada pengambilan AI generatif, dan mengarahkan dokumen ke alur kerja downstream.

Detail model

• Nama model: pdf-classification
• Kunci konteks: google:annotation:pdf-classification-v1
• Objek yang memenuhi syarat: Objek dokumen PDF berukuran 20 MiB atau lebih kecil dengan Content-Type application/pdf.

Skema output

Output model menghasilkan objek JSON yang berisi modelName, modelVersion, dan pdfClassificationCategoryList dengan array categories yang diklasifikasikan. Jika eksekusi model gagal, objek JSON akan berisi objek error, bukan pdfClassificationCategoryList.

Kategori yang didukung

Model pdf-classification menetapkan kategori konten hierarkis standar ke dokumen PDF.

Kategori disusun secara hierarkis dengan garis miring (/) yang memisahkan kedalaman kategori. Kategori ini dimulai dengan kategori vertikal tingkat atas yang luas dan dipersempit ke subkategori tertentu:

• Top-level verticals: Domain subjek yang luas, seperti /Finance, /Law & Government, atau /Computers & Electronics.
• Subkategori: Subjek tertentu dalam kategori, seperti /Finance/Accounting & Auditing/Tax Preparation & Planning.
• Subkategori /Other: Kategori untuk konten yang sesuai dengan kategori induk, tetapi tidak cocok dengan subkategori turunan tertentu.

Jika dokumen membahas beberapa topik yang berbeda, model dapat menetapkan beberapa kategori dengan keyakinan tinggi ke satu objek PDF.

Kategori tingkat atas

Model ini mengklasifikasikan dokumen PDF ke dalam 27 kategori tingkat teratas:

• /Adult
• /Arts & Entertainment
• /Autos & Vehicles
• /Beauty & Fitness
• /Books & Literature
• /Business & Industrial
• /Computers & Electronics
• /Finance
• /Food & Drink
• /Games
• /Health
• /Hobbies & Leisure
• /Home & Garden
• /Internet & Telecom
• /Jobs & Education
• /Law & Government
• /News
• /Online Communities
• /People & Society
• /Pets & Animals
• /Real Estate
• /Reference
• /Science
• /Sensitive Subjects
• /Shopping
• /Sports
• /Travel & Transportation

Subkategori mengikuti jalur hierarkis /Top-Level-Vertical/Subcategory, dengan tingkat yang lebih dalam opsional, di bawah kategori tingkat teratas ini. Untuk mengetahui daftar lengkap semua jalur kategori yang didukung, lihat Kategori klasifikasi PDF.

Contoh output

{
  "modelName": "pdf-classification",
  "modelVersion": "v1",
  "pdfClassificationCategoryList": {
    "categories": [
      {
        "label": "/Finance/Accounting & Auditing/Tax Preparation & Planning",
        "score": 0.85
      },
      {
        "label": "/Business & Industrial/Printing & Publishing/Document & Printing Services",
        "score": 0.25
      }
    ]
  }
}

Langkah berikutnya

• Baca tentang pengayaan objek.
• Mengonfigurasi pengayaan objek.
• Mengelola pengayaan objek.
• Menganalisis pengayaan objek di BigQuery.
• Tinjau resource JSON API featureConfigs.
• Memecahkan masalah pengayaan objek.