python爬虫案例——异步加载网站数据抓取，post请求（6）

前言

本篇案例主要讲解异步加载网站如何分析网页接口，以及如何观察post请求URL的参数，网站数据并不难抓取，主要是将要抓取的数据接口分析清楚，才能根据需求编写想要的代码。

1、任务目标

目标网站：腾讯网(https://news.qq.com/)
抓取 腾讯网–要闻–热点精选，前5页的新闻标题

如：

2、抓取流程

2.1 分析网页

步骤1：

打开浏览器，进入目标网站：https://news.qq.com/，右键检查或F12，打开浏览器抓包工具，先刷新网页更新数据接口，因为是异步刷新的网站，我们直接在在Network-Fetch/XHR下查找我们需要的数据接口