Python爬虫抓包常见问题解决
2024-01-09 15:52:07
对于Python爬虫和Fiddler抓包,可能遇到的问题及解决:
-
代理设置错误:如果你在使用Python爬虫时遇到抓不到包的问题,首先应该检查你的浏览器代理设置是否正确。以Chrome为例,代理设置为:右上角菜单按钮>设置>高级>系统>打开你计算机的代理设置,确保代理是打开并正确设置为Fiddler。
-
抓包开关未开启:在Fiddler界面上有两个位置(设置)可以作为Fiddler是否抓包的开关,一是Fiddler菜单项中Capture Traffic选项,另一个是Fiddler面板最左下角位置,单击可以切换是否抓包。请确认是否勾选该选项及确保左下角位置的状态为Capturing。
-
过滤器开启:Fiddler提供了过滤器功能,可以设置多维度的过滤规则,如根据主机、进程、请求头、响应头、状态码、响应类型和大小、断点进行请求的过滤。如果我们开启了过滤器,并且在过滤中设置了规则,而目标请求由不符合规则的话,这些请求将被Fiddler给过滤掉,从而无法在会话列表上显示出来。
-
未开启https抓包:一般线上项目才会采用HTTPS协议,因此如果你正在尝试抓取HTTPS网站的数据,你需要在Fiddler中开启https抓包。
文章来源:https://blog.csdn.net/qq_28935153/article/details/135382242
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!