Panoramica di Vision Warehouse

Vision Warehouse è un'API che consente agli sviluppatori di integrare l'archiviazione e la ricerca basata sull'AI di contenuti multimediali non strutturati (video in streaming, immagini e video batch) in strumenti e applicazioni esistenti.

Vision Warehouse è un componente principale di Gemini Enterprise Agent Platform Vision. Funge da repository di archiviazione e fornisce funzionalità di ricerca avanzate per più tipi di dati e casi d'uso. In particolare:

  • Video in streaming: puoi importare stream video in diretta e dati di analisi video in diretta utilizzando l'applicazione della piattaforma Vision di Gemini Enterprise Agent Platform o l'API Vision Warehouse e cercare immagini utilizzando l'API Vision Warehouse o la console Google Cloud .
  • Immagine: puoi importare immagini e metadati utilizzando l'API Vision Warehouse, analizzare le immagini utilizzando l'API Vision Warehouse e cercare immagini utilizzando l'API Vision Warehouse o la console Google Cloud .
  • Video batch: puoi importare video batch e metadati utilizzando l'API Vision Warehouse, analizzare i video batch utilizzando l'API Vision Warehouse e cercare video batch utilizzando l'API Vision Warehouse o la console Google Cloud .

Panoramica delle risorse API

Diagramma della gerarchia delle risorse API per Vision Warehouse.

Risorse API Storage

Corpus: un contenitore che contiene asset multimediali di un determinato tipo. Puoi creare più corpora per organizzare diversi tipi di asset multimediali.

Asset: un oggetto multimediale archiviato in un corpus. Gli asset possono essere immagini, video batch o stream video. Un corpus in genere contiene molti asset dello stesso tipo. Puoi specificare le annotazioni associate agli asset. Gli asset possono anche essere raggruppati in raccolte per la gestione.

Raccolta: una risorsa all'interno di un corpus che funge da contenitore di riferimenti agli asset.

Annotazione: metadati o dati forniti dall'utente derivati da Gemini Enterprise Agent Platform Vision associati a un asset. Una risorsa può avere più annotazioni.

  • Esempio 1: specifica un'annotazione di testo denominata "video-title" per gli asset video batch.
  • Esempio 2: archivia i dati analizzati dai modelli di visione di Gemini Enterprise Agent Platform come annotazioni. Ad esempio, le etichette di riconoscimento degli oggetti in diversi intervalli di tempo del video possono essere memorizzate come annotazioni.

Schema dei dati: definisce come viene interpretata un'annotazione all'interno di un corpus. Uno schema di dati definisce un tipo di annotazione e la relativa strategia di ricerca. Ogni annotazione deve essere associata a uno schema dei dati.

Risorse API di ricerca

Indice (disponibile per i verticali di immagini e video batch): una risorsa a livello di corpus che è una rappresentazione gestita di asset e annotazioni analizzati. Un indice può essere considerato un set di dati di vettori di incorporamento e limitazioni semantiche che rappresentano il significato dei contenuti multimediali. Gli indici possono essere implementati negli endpoint indice per la ricerca.

Endpoint di indice (disponibile per i verticali di immagini e video batch): un ambiente gestito che gestisce gli indici di Vision Warehouse. Gli endpoint indice forniscono un unico punto di accesso per l'invio di richieste di ricerca.

Configurazione della ricerca: memorizza varie proprietà che influiscono sui comportamenti di ricerca e sui risultati di ricerca.

  • Proprietà facet (disponibile per il verticale dei video in streaming): crea una configurazione per attivare i risultati di ricerca dell'istogramma basati sui facet.
  • Proprietà dei criteri di ricerca (disponibile per i verticali video in streaming e batch): crea una mappatura tra un criterio di ricerca personalizzato e una o più chiavi dello schema dei dati.

Cerca iperonimi: un tipo specifico di configurazione di ricerca che ti consente di personalizzare la capacità del servizio di ricerca di riconoscere gli iperonimi delle parole. Ad esempio, gli utenti possono specificare "animale" come iperonimo di "gatto" e "cane". La ricerca di "animale" restituirà anche risultati con "gatto" e "cane" nei dati dell'indice.

Lingue supportate

Batch Video Warehouse e Image Warehouse supportano le seguenti lingue per la ricerca semantica:

  • Inglese
  • Spagnolo
  • Portoghese
  • Francese
  • Giapponese
  • Cinese

Streaming Warehouse non ha restrizioni linguistiche.

Passaggi successivi