大模型搜索引擎增强问答demo-纯python实现
流程概览
本文使用python语言,实现了大模型搜索引擎增强问答demo。
大模型搜索引擎增强问答定义:根据问题搜索得到相关内容,拼接prompt=问题+搜索结果,将这个prompt传入大模型,得到最终的结果。
优势在于搜索引擎可以返回实时性信息,例如明日双色球开奖信息、最新八卦新闻。
需要实现的代码内容有,必应搜索爬虫程序,重排序,通义千问api调用,搜索引擎工具封装,langchain ZeroShotAgent(通过智能体调用搜索引擎工具)。
文末提供了项目仓库地址
搜索引擎数据爬取
目的:输入一个query,返回搜索引擎搜索到的相关结果字符串
Google浏览器按F12进去开发者模式分析HTML源代码结构,搜索结果词条在id为b_results标签的子<li>标签中,