OpenAI Embedding：基于人工智能的搜索新篇章

### 免费 Embedding 服务与开源 Embedding 模型 在探索免费的嵌入（embedding）服务或开源模型时，可以考虑以下几个方向： #### 1. **Facebook AI 的 DLRM** Deep Learning Recommendation Model (DLRM)[^1] 是 Facebook 提供的一个推荐系统框架。虽然它主要用于广告和推荐场景中的特征处理，但它也涉及到了一些预训练技术，这些技术可能间接帮助构建自己的 embedding 层。 尽管 DLRM 并不直接提供现成的 embedding 方法，但其架构设计提供了如何高效利用稀疏数据来生成 embeddings 的思路。这可以帮助开发者理解如何针对特定任务定制化实现 embedding 功能。 #### 2. **Hugging Face Transformers** Hugging Face 提供了大量的基于 Transformer 架构的预训练模型，其中包括许多可以直接用于文本 embedding 的工具[^2]。例如 BERT、RoBERTa 和 DistilBERT 都是非常流行的选项。通过加载这些模型并提取最后一层隐藏状态作为输入序列的表示形式，即可获得高质量的文本 embedding 向量。 以下是使用 Hugging Face `transformers` 库生成文本 embedding 的简单示例： ```python from transformers import AutoTokenizer, AutoModel import torch tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/all-MiniLM-L6-v2") model = AutoModel.from_pretrained("sentence-transformers/all-MiniLM-L6-v2") def get_embedding(text): inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True) with torch.no_grad(): outputs = model(**inputs) return outputs.last_hidden_state.mean(dim=1).numpy() text = "This is an example sentence." embedding = get_embedding(text) print(embedding.shape) # 输出形状应类似于 (1, dim)，其中dim取决于具体模型 ``` #### 3. **Sentence-BERT** Sentence-BERT (SBERT) 是一种改进版的 BERT 变体，专门优化了句子级别的相似度计算任务。相比原始 BERT，它能够更快速地生成固定长度的句子 embedding，并且效果更好。因此如果目标是将文档片段存储至 Qdrant 数据库以便后续检索，则 SBERT 将是一个非常合适的选择。 #### 4. **Word2Vec 和 GloVe** 对于词级别而非句级的应用场合，Google 的 Word2Vec 或斯坦福大学开发的 GloVe 均可视为经典解决方案之一。它们均能有效捕捉词语间的语义关系并通过低维度稠密向量表达出来。不过需要注意的是，这类方法仅适用于单独单词而不是整个段落或者篇章结构。 #### 5. **FastText** 由 Facebook Research 发布的 FastText 不仅支持标准 NLP 处理流程里的 tokenization 步骤外还额外增加了子字符建模能力从而使得即使面对未见过的新词汇也能合理推测出相应表征 。这对于某些领域内的专有名次尤其有用处因为往往难以穷尽列举所有可能出现的情况. --- ### 总结 综上所述，在寻找适合项目需求的 free/open source embeddings 方面有多种途径可供尝试：从大型通用平台如 HuggingFace 到专注于特殊用途的小众算法比如 SentenceTransformers；另外还有传统统计学习范式的代表作像 word2vec/glove/fastext等等。每种方案都有各自特点以及适用范围所以在实际应用过程中需结合具体情况权衡利弊做出最佳决策。