Vision Warehouse – Übersicht

Vision Warehouse ist eine API, mit der Entwickler die Speicherung und KI-basierte Suche nach unstrukturierten Medieninhalten (Streaming-Videos, Bilder und Batch-Videos) in vorhandene Tools und Anwendungen einbinden können.

Vision Warehouse ist ein wichtiger Bestandteil von Gemini Enterprise Agent Platform Vision. Es dient als Speicher-Repository und bietet erweiterte Suchfunktionen für mehrere Datentypen und Anwendungsfälle. Zum Beispiel:

  • Streamingvideo: Sie können Live-Videostreams und Live-Videoanalysedaten mit der Vision-Plattformanwendung der Gemini Enterprise Agent Platform oder der Vision Warehouse API importieren und mit der Vision Warehouse API oder der Google Cloud -Konsole nach Bildern suchen.
  • Bild: Sie können Bilder und Metadaten mit der Vision Warehouse API importieren, Bilder mit der Vision Warehouse API analysieren und mit der Vision Warehouse API oder der Google Cloud Console nach Bildern suchen.
  • Batch-Video: Sie können Batch-Videos und Metadaten mit der Vision Warehouse API importieren, Batch-Videos mit der Vision Warehouse API analysieren und mit der Vision Warehouse API oder der Google Cloud Konsole nach Batch-Videos suchen.

Übersicht über API-Ressourcen

Diagramm der API-Ressourcenhierarchie für Vision Warehouse.

Storage API-Ressourcen

Corpus: Ein Container, der Media-Assets eines bestimmten Typs enthält. Sie können mehrere Korpora erstellen, um verschiedene Arten von Media-Assets zu organisieren.

Asset: Ein Media-Objekt, das in einem Korpus gespeichert ist. Assets können Bilder, Batch-Videos oder Videostreams sein. Ein Korpus enthält in der Regel viele Assets desselben Typs. Sie können Anmerkungen für Assets angeben. Assets können auch in Sammlungen gruppiert werden, um sie besser zu verwalten.

Sammlung: Eine Ressource in einem Korpus, die als Container für Verweise auf Assets dient.

Annotation: Von Nutzern bereitgestellte Metadaten oder Daten, die aus Gemini Enterprise Agent Platform Vision abgeleitet und einem Asset zugeordnet sind. Ein Asset kann mehrere Anmerkungen haben.

  • Beispiel 1: Sie geben eine Textanmerkung mit dem Namen „video-title“ für Batch-Video-Assets an.
  • Beispiel 2: Analysierte Daten aus Gemini Enterprise Agent Platform Vision-Modellen als Annotationen speichern. So können beispielsweise Labels zur Objekterkennung in verschiedenen Videozeiträumen als Anmerkungen gespeichert werden.

Datenschema: Definiert, wie eine Anmerkung in einem Korpus interpretiert wird. In einem Datenschema wird ein Annotationstyp und die zugehörige Suchstrategie definiert. Jede Anmerkung muss mit einem Datenschema verknüpft sein.

Search API-Ressourcen

Index (verfügbar für Bild- und Batch-Video-Branchen): Eine Ressource auf Korpus-Ebene, die eine verwaltete Darstellung von analysierten Assets und Anmerkungen ist. Ein Index kann als Datensatz von Einbettungsvektoren und semantischen Einschränkungen betrachtet werden, der die Bedeutung der Media-Inhalte repräsentiert. Indexe können für die Suche in Indexendpunkten bereitgestellt werden.

Indexendpunkt (für Bild- und Batch-Video-Branchen verfügbar): Eine verwaltete Umgebung, in der Vision Warehouse-Indizes bereitgestellt werden. Indexendpunkte bieten einen zentralen Zugriffspunkt zum Senden von Suchanfragen.

Suchkonfiguration: Hier werden verschiedene Eigenschaften gespeichert, die sich auf das Suchverhalten und die Suchergebnisse auswirken.

  • Attribut-Property (für Streamingvideo-Branche verfügbar): Erstellt eine Konfiguration, um attributbasierte Histogramm-Suchergebnisse zu ermöglichen.
  • Property „Suchkriterien“ (verfügbar für Streaming-Video- und Batch-Video-Branchen): Erstellt eine Zuordnung zwischen benutzerdefinierten Suchkriterien und einem oder mehreren Schlüsseln des Datenschemas.

Hypernym-Suche: Eine spezielle Art von Suchkonfiguration, mit der Sie die Fähigkeit des Suchdienstes anpassen können, Hypernyme von Wörtern zu erkennen. Nutzer können beispielsweise „Tier“ als Hypernym für „Katze“ und „Hund“ angeben. Wenn Sie nach „Tier“ suchen, werden auch Ergebnisse mit „Katze“ und „Hund“ in den Indexdaten zurückgegeben.

Unterstützte Sprachen

Batch Video Warehouse und Image Warehouse unterstützen die folgenden Sprachen für die semantische Suche:

  • Englisch
  • Spanisch
  • Portugiesisch
  • Französisch
  • Japanisch
  • Chinesisch

Für Streaming Warehouse gelten keine Spracheinschränkungen.

Nächste Schritte