一、基于langchain使用Qwen搭建金融RAG问答机器人--技术准备

一,LangChain框架介绍

LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用。
LangChain封装了很多组件，通过这些组件的组合可以构建多种类型的RAG应用。开发者可以直接将私有数据嵌入到RAG的组件中，然后通过LangChain组件的组合来搭建适合自己业务场景的RAG应用。
LangChain 其中一个核心组成模块:
链(Chains):将组件组合实现端到端应用，通过一个链封装实现一系列LLM 操作
例如最经典的链：检索问答链，通过LLM、向量数据库等多个组件组合在一起，覆盖实现了 RAG(检索增强生成)的全部流程

二、基础RAG流程

1. 首先对于以文档形式存在的本地知识库，使用Unstructed Loader组件加载本地文档，这个组件会将不同格式的文档统一转化成纯文本格式。
2. 使用Text Splitter组件对提取出来纯文本进行分割成chunk，再通过开源词向量模型(Embedding)将文本段转成向量格式，存储到向量数据库（本项目使用Chroma）中。
3. 对用户的每个输入，先通过词向量模型转化成同样维度的词向量，然后通过在向量数据库中进行相似度的匹配，找到同用户相关的文本段。
4. 将相关的文本段嵌入到已经写好的Prompt Template中，然后交给LLM，再进行最后的回答。

三，环境准备

1，使用conda创建虚拟环境：

conda create --name langchain_qwen python=3.10

2，把conda虚拟环境到到内核里 ，这样使用jupyter 可以切换到新的环境

activate langchain_qwen
pip install ipykernel
python -m ipykernel install --user --name=langchain_qwen --display-name langchain_qwen

3，安装项目所需要的库

pip install langchain
pip install gradio 
pip install chromadb 
pip install sentence-transformers 
pip install unstructured 
pip install markdown
pip install langchain_community
pip install tqdm
#langchain-huggingface 安装需要翻墙
pip install langchain-huggingface