当前位置: 首页 > news >正文

爬虫重定向问题解决

一,问题

做爬虫时会遇到强制重定向的链接,此时可以手动获取重定向后的链接
如下图情况
在这里插入图片描述
第二个链接是目标要抓取的,但它是第一个链接重定向过去的,第一个链接接口状态也是302

二,解决方法

请求第一个链接,设置 allow_redirects = False
从响应头中提取 Location 参数,即为重定向后的链接

    res = requests.get(url = url, headers = headers, data = data, allow_redirects = False)redirectUrl = res.headers['Location']

http://www.mrgr.cn/news/77813.html

相关文章:

  • 数据结构-树状数组专题(2)
  • 返回流类型接口的错误信息处理
  • 数据结构-8.Java. 七大排序算法(上篇)
  • ROS机器视觉入门:从基础到人脸识别与目标检测
  • C++多线程编程入门教程(优质版)
  • 代理池搭建优化-(书接上回,优化改进)
  • tcp/ip异常断开调试笔记——lwip
  • Oracle 19C 安装RAC磁盘投票失败
  • Vue实训---1-创建Vue3项目
  • 【大数据学习 | Spark-Core】Spark提交及运行流程
  • 【蓝桥杯C/C++】翻转游戏:多种实现与解法解析
  • 14.C++STL1(STL简介)
  • 【蓝桥杯C/C++】深入解析I/O高效性能优化:std::ios::sync_with_stdio(false)
  • minikube单机k8s出现Listen: listen tcp :53: bind: permission denied
  • 【题解】—— LeetCode一周小结46
  • CSRF保护--laravel进阶篇
  • 【大数据学习 | Spark-Core】spark-shell开发
  • 《线性代数的本质》
  • 【计算机网络】网段划分
  • C#语言入门
  • 《Shader 入门精要》学习笔记 茵蒂克丝
  • 用python将一个扫描pdf文件改成二值图片组成的pdf文件
  • [模版总结] - 树的基本算法4 -最近公共祖先 LCA
  • 【大数据学习 | Spark-Core】yarn-client与yarn-cluster的区别
  • 浦语提示词工程实践(LangGPT版,服务器上部署internlm2-chat-1_8b,踩坑很多才完成的详细教程,)
  • 复习!!!