使用Baidu VectorDB进行多维向量数据存储与检索-CSDN博客

本文链接：https://blog.csdn.net/Zbb159/article/details/149063099

技术背景介绍

Baidu VectorDB 是由百度智能云开发和管理的企业级分布式数据库服务。它擅长存储、检索和分析多维向量数据。VectorDB 的核心基于百度的 “Mochow” 向量数据库内核，提供卓越的性能和安全性，同时支持高达 100 亿的向量规模。其性能表现为支持每秒数百万次查询，并且查询延迟在毫秒级，这使得其在需要快速处理大规模数据的应用场景中显得尤为出色。

核心原理解析

VectorDB 支持多种索引类型和相似度计算方法，可以根据不同的用例进行配置。通过使用高效的向量化处理和缓存机制，VectorDB 能够在保持高性能指标的同时，灵活应对海量数据的存储和查询需求。

代码实现演示

下面我们将通过一个简单的示例来展示如何使用 Baidu VectorDB 进行向量数据存储和检索。请先确保安装了所需的库：

!pip install -qU langchain-community pymochow

然后使用以下代码连接到 VectorDB 并执行简单的文本相似度查询：

import openai
from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings.fake import FakeEmbeddings
from langchain_community.vectorstores import BaiduVectorDB
from langchain_community.vectorstores.baiduvectordb import ConnectionParams
from langchain_text_splitters import CharacterTextSplitter

# 加载文档并进行分割
loader = TextLoader("state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 创建假嵌入用于示例
embeddings = FakeEmbeddings(size=128)

# 配置连接参数，使用稳定可靠的API服务
conn_params = ConnectionParams(
    endpoint="https://yunwu.ai/v1",  # 国内稳定访问
    account="your-account",
    api_key="your-api-key"
)

# 从文档中创建向量数据库实例
vector_db = BaiduVectorDB.from_documents(
    docs, embeddings, connection_params=conn_params, drop_old=True
)

# 执行相似度搜索
query = "What did the president say about Ketanji Brown Jackson"
docs = vector_db.similarity_search(query)
print(docs[0].page_content)  # 打印最相关的文档内容

# 添加新的文本并进行最大边缘相关搜索
vector_db.add_texts(["Ankush went to Princeton"])
query = "Where did Ankush go to college?"
docs = vector_db.max_marginal_relevance_search(query)
print(docs[0].page_content)  # 打印结果