scrapy爬虫框架小案例

一、scrapy安装

pip install scrapy

出错提示to update pip，请升级pip

python -m pip install --upgrade pip

如果下载过慢也可以先修改镜像，再下载

pip config set global.index-url https://pypi.doubanio.com/simple修改镜像

二、scrapy的基本使用（爬虫项目创建->爬虫文件创建->运行 + 爬虫项目结构 + response的属性和方法🌟）

1、创建项目

pycharm命令行终端中：
scrapy startproject 项目名 如：

scrapy startproject spider2024

2、创建爬虫文件

scrapy genspider 爬虫文件名 要爬取的网页 如：

scrapy genspider douban  https://movie.douban.com/

3、scrapy项目的结构

4、运行爬虫文件

 scrapy crawl 爬虫文件名

如：scrapy crawl douban

注释：在settings.py文件中，注释掉ROBOTSTXT_OBEY = True，才能爬取拥有反爬协议的网页

5、response的属性和方法（爬虫的处理主要是对response进行操作，从这里开始主要对生成的爬虫文件进行操作）

#该方法中response相当于response = request.get()
response.text ()        用于获取响应的内容
response.body ()      用于获取响应的二进制数据
response.xpath()       可以直接使用xpath方法来解析response中的内容
response.xpath().extract()      提取全部seletor对象的data属性值，返回字符串列表
response.xpath().extract_first()     提取seletor列表的第一个数据，返回字符串

豆瓣案例：

1. douban.py

import scrapy#from typing import Iterable
#from scrapy import Request
from scrapy.http import HtmlResponsefrom..items import MovieItemclass DoubanSpider(scrapy.Spider):name = "douban"allowed_domains = ["movie.douban.com"]def start_requests(self):for page in range(10):yield scrapy.Request(url=f'https://movie.douban.com/top250?start={page*25}&filter=')def parse(self, response:HtmlResponse):list_tiems= response.css('#content > div > div.article > ol > li')for list_item in list_tiems:movie_item = MovieItem()movie_item['title'] = list_item.css('span.title::text').extract_first()movie_item['rank']= list_item.css('span.rating_num::text').extract_first()movie_item['subject'] = list_item.css('span.inq::text').extract_first()yield movie_item## 获取分页器的链接，再利用scrapy.Request来发送请求并进行后续的处理。但会有个bug# href_list = response.css('div.paginator > a::attr(href)')# for href in href_list:#     urls = response.urljoin(href.extract())#     yield scrapy.Request(url=urls)

2. item.py

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.htmlimport scrapy#爬虫获取到的数据需要组装成Item对象
class MovieItem(scrapy.Item):title = scrapy.Field()rank = scrapy.Field()subject = scrapy.Field()

3. settings.py

修改请求头：

USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.1.6221.95 Safari/537.36"

随机延时：

DOWNLOAD_DELAY = 3
RANDOMIZE_DOWNLOAD_DELAY=True

保存文件设置：

ITEM_PIPELINES = {"spider2024.pipelines.Spider2024Pipeline": 300,#数字小的先执行
}

4.pipeline.py

import openpyxlclass Spider2024Pipeline:def __init__(self):self.wb = openpyxl.workbook()self.ws = self.wb.activeself.ws.title='Top250'self.ws.append(('标题','评分','主题'))def close_spider(self, spider):self.wb.save('电影数据.xlsx')def process_item(self, item, spider):# self.ws.append((item['title'], item['rank'],item['subject']))# 这样获取数据，如果数据为空会报错；这里建议用get获取title=item.get('title','')#给个默认空值rank = item.get('rank', '')  # 给个默认空值subject = item.get('subject', '')  # 给个默认空值self.ws.append((title, rank, subject))return item