您可以使用 Agent Retrieval(以前称为 Vector Search 2.0)为您的 集合自动生成嵌入。这样一来,您就可以构建新的嵌入并立即部署,从而简化从原始数据到实时生产规模搜索引擎的路径。
支持的 Gemini Enterprise 嵌入模型
Agent Retrieval(以前称为 Vector Search 2.0)支持以下嵌入模型:
Gemini - 在嵌入文本(仅限英语和多语言)方面表现出卓越性能。
Text - 擅长处理(仅限英语和多语言)和源代码数据。
下表详细介绍了每个受支持的模型。
| 模型 | 说明 | 最大 输出 维度 |
最大 序列 长度(词元) |
支持的模态 和文本语言 |
其他 限制 |
|---|---|---|---|---|---|
gemini-embedding-001
|
在英语、多语言和代码任务方面均表现出前沿性能。 它整合了 text-embedding-005 和text-multilingual-embedding-002 等先前的专用模型,并使它们在各自的领域中实现了更佳性能。 |
3072 | 2048 | 支持的文本语言 | 嵌入限制 |
gemini-embedding-2-preview
|
这是 Google 的下一代多模态嵌入模型。此“全能嵌入模型”基于最新的 Gemini 模型架构构建,可将文本、图片、视频和 PDF 数据映射到单个统一的嵌入空间中。 |
3072 | 8192 | 交错的文本、图片、视频和 PDF | API 限制 |
gemini-embedding-2
|
这是 Google 的下一代多模态嵌入模型。此“全能嵌入模型”基于最新的 Gemini 模型架构构建,可将文本、图片、视频和 PDF 数据映射到单个统一的嵌入空间中。 |
3072 | 8192 | 交错的文本、图片、视频和 PDF | API 限制 |
text-embedding-004 |
擅长处理英语和代码任务。 | 768 | 2048 | 英语 | API 限制 |
text-embedding-005 |
擅长处理英语和代码任务。 | 768 | 2048 | 英语 | API 限制 |
text-multilingual-embedding-002 |
擅长处理多语言任务。 | 768 | 2048 | 支持的文本语言 | API 限制 |
创建具有自动生成的嵌入的集合
创建集合时,请在 vertex_embedding_config 的 model_id 字段中指定嵌入模型。每当创建
数据对象且未定义genre_embedding
数据时,系统都会使用此模型。
以下代码演示了如何在自动生成嵌入时指定要使用的嵌入模型。
request = vectorsearch.CreateCollectionRequest(
parent=f"projects/{PROJECT_ID}/locations/{LOCATION}",
collection_id=collection_id,
collection={
"data_schema": {
"type": "object",
"properties": {
"year": {"type": "number"},
"genre": {"type": "string"},
"director": {"type": "string"},
"title": {"type": "string"},
},
},
"vector_schema": {
"plot_embedding": {"dense_vector": {"dimensions": 3} },
"soundtrack_embedding": {"dense_vector": {"dimensions": 5} },
"genre_embedding": {
"dense_vector": {
"dimensions": 4,
"vertex_embedding_config": {
# If a data object is created without a supplied value for genre_embedding, it will be
# auto-generated based on this config.
"model_id": "text-embedding-004",
"text_template": ("Movie: {title} Genre: {genre} Year: {year}"),
"task_type": "RETRIEVAL_DOCUMENT",
},
}
},
"sparse_embedding": {"sparse_vector": { } },
},
},
)
operation = vector_search_service_client.create_collection(request=request)
operation.result()
在示例代码中,系统会创建一个新集合,并将 model_id 字段设置为 text-embedding-004。如需了解可以为 model_id 指定哪些
嵌入模型,请参阅
支持的 Gemini Enterprise 嵌入模型。
配额
自动生成的嵌入依赖于底层 Gemini Enterprise 嵌入模型的客户配额。这主要受以下两个主要配额的限制:
每个 base_model 在每个区域每分钟的嵌入内容输入词元数。
每个 base_model 在每个区域每分钟的在线预测请求数。
在创建数据对象或运行导入作业之前,请确保您有足够的配额。
如需了解如何申请增加配额,请参阅使用控制台管理配额 。