7篇Python爬虫实例，直接代码可运行，全网最全，注释超详细（适合收藏）——2、爬取图片信息。
7篇Python爬虫实例，可直接运行，适合收藏
python爬虫7篇实例，分七个文章进行发布；第二篇：爬取图片信息。
- 爬取图片信息，并将每张图片都下载下来。
爬虫主要三部分：
1、获取数据
2、数据解析
3、调用函数
- 先上完整代码： 代码后面进行一步步解析。
import requests
from bs4 import BeautifulSoup
import osindex = range(2,5)
urls = []
for i in index:urls.append(f'https://pic.netbian.com/4kdongman/index_{i}.html')# https://pic.netbian.com/tupian/34851.html# 传入单个网页，获取网页上所有得图片链接
def craw_single_url(url):re = requests.get(url)re.encoding = 'gbk'soup = BeautifulSoup(re.text,'html.parser')pics_links = soup.find_all('img')links = []for link in pics_links:if 'uploads' not in link['src']:continuelinks.append(f'https://pic.netbian.com{link['src']}')return links# 传入图片链接，将图片下载到文件夹中
def imgs_download(links):for link in links:re = requests.get(link)pic_name = os.path.basename(link)with open(f'图片/{pic_name}','wb') as f: # w : 写入 b : 二进制写入f.write(re.content)# 循环爬取的网页链接，将所有网页的 links 放入元组中
links = []
for url in urls:for link in craw_single_url(url):links.append(link)# 将所有的 link 图片下载下来
imgs_download(links)
1、获取数据
- 该函数是获取该 url 链接下所有图片的链接
- 函数返回值是：所有图片的链接
def craw_single_url(url):re = requests.get(url) # 请求 urlre.encoding = 'gbk' # gbk格式soup = BeautifulSoup(re.text,'html.parser') # 创建一个 BeautifulSoup 对象，之后对其解析pics_links = soup.find_all('img') # 在soup 中找到 img 的链接links = []for link in pics_links: # 循环每个链接if 'uploads' not in link['src']: # 判断是否正确的链接continuelinks.append(f'https://pic.netbian.com{link['src']}') # 构建真正的图片链接return links
2、数据解析
- 对获取到的图片 urls 进行解析
- 循环 urls 下载图片到指定文件中
def imgs_download(links): # 下载图片函数for link in links: # 对传入图片链接进行循环re = requests.get(link) # 请求单个链接pic_name = os.path.basename(link) # 获得图片的名字with open(f'图片/{pic_name}','wb') as f: # 打开 图片 文件夹进行写入 w : 写入 b : 二进制写入f.write(re.content) # 将图片保存到 图片 文件夹
3、进行调用
# 循环爬取的网页链接，将所有网页的 links 放入元组中
links = []
for url in urls: # 循环每个页面for link in craw_single_url(url): # 将每个页面得到的图片urls，放入 links列表 links.append(link) # 放入 links列表 # 将所有的 link 图片下载下来
imgs_download(links) # 再调用 imgs_download 函数，对每张图片进行下载