08-weaviate_nomic_embed_text_rag_weaviate nomic-embed-text-CSDN博客

from langchain.vectorstores import Weaviate
from langchain.embeddings.base import Embeddings
from langchain.chains import RetrievalQA
from langchain.llms import Ollama
import weaviate
import os
import requests

# docker run -d -p 8080:8080 --name weaviate semitechnologies/weaviate:latest
#
# 根据CSDN博客2025年1月22日发布的文章，这四个向量数据库在GitHub上的Star数量排行榜如下：
# 1. **Milvus**：26.2k
# 2. **Qdrant**：17k
# 3. **Chroma**：9.6k
# 4. **Weaviate**：9.2k
#
# 不过，GitHub上项目的Star数量会随时间变化而有所不同，想要获取最新、准确的排名，建议直接访问各项目的GitHub页面进行查看。

# 方式一：手动查询GitHub
# 你可以直接访问各个项目在GitHub上的主页来查看Star数量，以下是各项目对应的GitHub链接：
#
# Milvus：https://github.com/milvus-io/milvus
# Chroma：https://github.com/chroma-core/chroma
# Weaviate：https://github.com/semi-technologies/weaviate
# Qdrant：https://github.com/qdrant/qdrant
# 在每个项目的GitHub页面上，页面上方会显示该项目的Star数量，你可以记录下这些数量并进行排序。
#
# 方式二：使用第三方工具或网站
# 有一些第三方工具和网站可以实时追踪GitHub项目的热度，包括Star数量，并提供排行榜功能。例如：
#
# GitHub Trending：https://github.com/trending 虽然它主要展示近期热门项目，但你可以在搜索框中输入项目名称查看其详细信息。


# 使用 Ollama 的 nomic-embed-text 生成嵌入
class NomicEmbedText(Embeddings):
    def __init__(self, base_url="http://127.0.0.1:11434"):
        self.base_url = base_url

    def embed_query(self, text):
        response = requests.post(
            f"{self.base_url}/api/embeddings",
            json={"model": "nomic-embed-text:v1.5", "prompt": text}
        )
        if response.status_code != 200:
            raise ValueError(f"嵌入生成失败: {response.text}")
        return response.json()["embedding"]

    def embed_documents(self, texts):
        embeddings = []
        for text in texts:
            embedding = self.embed_query(text)
            embeddings.append(embedding)
        return embeddings


# 初始化 Weaviate 客户端
def init_weaviate_client(url="http://localhost:8080"):
    client = weaviate.Client(url)
    return client


# 创建 Weaviate 向量存储
def create_weaviate_vector_store(chunks, index_name):
    embeddings = NomicEmbedText()
    texts = [chunk.page_content for chunk in chunks]
    metadatas = [chunk.metadata for chunk in chunks]

    # 创建 Weaviate 索引
    client = init_weaviate_client()

    # 使用 Weaviate 的默认嵌入模型（需要提前配置）
    vector_store = Weaviate.from_texts(
        texts=texts,
        embedding=embeddings,  # 这里传入嵌入对象
        metadatas=metadatas,
        client=client,
        index_name=index_name
    )
    return vector_store


# 加载 Weaviate 向量存储
def load_weaviate_vector_store(index_name):
    client = init_weaviate_client()
    embeddings = NomicEmbedText()

    # 加载 Weaviate 向量存储
    vector_store = Weaviate(
        client=client,
        index_name=index_name,
        embedding=embeddings  # 这里传入嵌入对象
    )
    return vector_store


# 设置 RAG 管道
def setup_rag_pipeline(vector_store):
    llm = Ollama(model="deepseek-r1:1.5b", base_url="http://127.0.0.1:11434")
    qa_pipeline = RetrievalQA.from_chain_type(
        llm=llm,
        chain_type="stuff",
        retriever=vector_store.as_retriever(search_kwargs={"k": 3})
    )
    return qa_pipeline


# 查询 RAG 管道
def query_rag_pipeline(qa_pipeline, question):
    result = qa_pipeline({"query": question})
    return result["result"]


# 主函数
def main():
    # 1. 创建或加载 Weaviate 向量存储
    index_name = "CompanyLaw"
    vector_store = load_weaviate_vector_store(index_name)

    # 2. 设置 RAG 管道
    qa_pipeline = setup_rag_pipeline(vector_store)

    # 3. 查询
    question = "关于公司法律条款的解释"
    answer = query_rag_pipeline(qa_pipeline, question)
    print("回答:", answer)


if __name__ == "__main__":
    main()