Visão geral do Vision Warehouse

O Warehouse do Vision é uma API que permite aos desenvolvedores integrar o armazenamento e a pesquisa com tecnologia de IA de conteúdo de mídia não estruturado (streaming de vídeo, imagens e vídeos em lote) a ferramentas e aplicativos atuais.

O Warehouse do Vision é um componente importante do Gemini Enterprise Agent Platform Vision. Ele serve como repositório de armazenamento e oferece recursos avançados de pesquisa para vários tipos de dados e casos de uso. Especificamente:

  • Streaming de vídeo: é possível importar streams de vídeo ao vivo e dados de análise de vídeo ao vivo usando o aplicativo da plataforma Gemini Enterprise Agent Platform Vision ou a API Warehouse do Vision e pesquisar imagens usando a API Warehouse do Vision ou o console Google Cloud .
  • Imagem: é possível importar imagens e metadados usando a API Warehouse do Vision, analisar imagens usando a API Warehouse do Vision e pesquisar imagens usando a API Warehouse do Vision ou o console Google Cloud .
  • Vídeo em lote: é possível importar vídeos e metadados em lote usando a API Warehouse do Vision, analisar vídeos em lote usando a API Warehouse do Vision e pesquisar vídeos em lote usando a API Warehouse do Vision ou o console Google Cloud .

Visão geral dos recursos da API

Diagrama da hierarquia de recursos da API para o Warehouse do Vision.

Recursos da API Storage

Corpus: um contêiner que contém recursos de mídia de um tipo específico. É possível criar vários corpora para organizar diferentes tipos de recursos de mídia.

Recurso: um objeto de mídia armazenado em um corpus. Os recursos podem ser imagens, vídeos em lote ou transmissões de vídeo. Um corpus normalmente contém muitos recursos do mesmo tipo. É possível especificar anotações associadas a recursos. Os recursos também podem ser agrupados em coleções para gerenciamento.

Coleção: um recurso em um corpus que serve como um contêiner de referências a recursos.

Anotação: metadados fornecidos pelo usuário ou dados derivados da Gemini Enterprise Agent Platform Vision associados a um recurso. Um recurso pode ter várias anotações.

  • Exemplo 1: especifique uma anotação de texto chamada "video-title" para recursos de vídeo em lote.
  • Exemplo 2: armazene dados analisados dos modelos de visão da plataforma de agentes do Gemini Enterprise como anotações. Por exemplo, os rótulos de reconhecimento de objetos em diferentes períodos de tempo de vídeo podem ser armazenados como anotações.

Esquema de dados: define como uma anotação é interpretada em um corpus. Um esquema de dados define um tipo de anotação e a estratégia de pesquisa dela. Cada anotação precisa ser associada a um esquema de dados.

Recursos da API Search

Índice (disponível para segmentos verticais de imagem e vídeo em lote): um recurso no nível do corpus que é uma representação gerenciada de recursos e anotações analisados. Um índice pode ser visto como um conjunto de dados de vetores de embedding e restrições semânticas que representam o significado do conteúdo de mídia. Os índices podem ser implantados em endpoints de índice para pesquisa.

Endpoint de índice (disponível para segmentos verticais de imagem e vídeo em lote): um ambiente gerenciado que disponibiliza índices do Warehouse do Vision. Os endpoints de índice oferecem um único ponto de acesso para o envio de solicitações de pesquisa.

Configuração de pesquisa: armazena várias propriedades que afetam os comportamentos e resultados da pesquisa.

  • Propriedade de faceta (disponível para a vertical de vídeos de streaming): cria uma configuração para ativar resultados de pesquisa de histograma com base em facetas.
  • Propriedade de critérios de pesquisa (disponível para vídeos de streaming e em lote): cria um mapeamento entre um critério de pesquisa personalizada e uma ou mais chaves de esquema de dados.

Pesquisar hiperônimo: um tipo específico de configuração de pesquisa que permite personalizar a capacidade do serviço de pesquisa de reconhecer hiperônimos de palavras. Por exemplo, os usuários podem especificar "animal" como um hiperônimo de "gato" e "cachorro". Pesquisar "animal" também vai retornar resultados com "gato" e "cachorro" nos dados de índice.

Idiomas compatíveis

O Batch Video Warehouse e o Image Warehouse oferecem suporte aos seguintes idiomas para pesquisa semântica:

  • Inglês
  • Espanhol
  • Português
  • Francês
  • Japonês
  • Chinês

O Streaming Warehouse não tem restrições de idioma.

A seguir