博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【Python3 爬虫】15_Fiddler抓包分析
阅读量:5343 次
发布时间:2019-06-15

本文共 1083 字,大约阅读时间需要 3 分钟。

我们要抓取一些网页源码看不到的信息,例如:淘宝的评论等

我们可以使用工具Fiddler进行抓取

软件下载地址: 密码:wche

安装不详细介绍,直接下一步即可

安装完成后,运行程序如下:

设置代理

打开火狐浏览器

如下设置:

Fiddler默认只能抓取HTTP协议的网页,不能抓取HTTPS协议的网页,而我们很多时候,都需要抓HTTPS协议的网页。

Tool-----Options-----HTTPS,设置如下:

设置过程中或许会提示如下,直接点击Yes即可

然后点击Actions----Export Root Certificate to Desktop

点击确定后,桌面上就出现该图标

接着,我们可以在浏览器导入该证书,我们打开火狐浏览器

【选项】---【隐私与安全】--【证书】---【查看证书】---【导入】

点击【导入】

勾选下图所示2个按钮

上述信息设置完毕之后,我们刷新网址:

再看Fiddler什么也没有

那么是什么问题呢?

接下来,我们win+R 并输入certmgr.msc并回车打开证书管理器

【操作】---【查找证书】

此处,我们找到了很多个证书,我们通过右键--删除所有证书

删除完成之后如下图:

接下来,删除火狐中的相关证书

【选项】---【隐私与安全】---【证书】---【查看证书】

找到DO_NOT开头的Fiddler证书进行删除

依次删除【个人】、【服务器】、【其他】下的证书

这些证书删除完毕以后

点击以下地址下载文件

下载后解压,直接打开,报错忽略即可

接着重启Fiddler,重启完毕后,随便打开一个商品的评论

先使用clear清除内容,然后刷新评论

我刷新的页面如下:

刷新完毕之后再次看Fiddler

我们可以看到,已经可以抓取了,如果上述设置还是不行,那么打开Fiddler安装的目录:例如(D:\soft\fiddler)

在cmd中进入到该目录,执行以下代码

makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3.1 -h 1 -cy authority -a sha1 -m 120 -b 09/05/2012

执行结果如下:

执行完毕之后再次导出导入CA证书。

转载于:https://www.cnblogs.com/OliverQin/p/8908393.html

你可能感兴趣的文章
高性能JavaScript-JS脚本加载与执行对性能的影响
查看>>
关于标签之间因为换行等问题造成的空白间距问题处理
查看>>
hdu 2767(tarjan)
查看>>
sklearn之分类模型混淆矩阵和分类报告
查看>>
MySQL各存储引擎
查看>>
项目--简单导出CSV文件
查看>>
Oracle session相关数据字典(一)
查看>>
织梦文章内容提取第一张或者多张图片输出
查看>>
C#用正则表达式 获取网页源代码标签的属性或值
查看>>
BZOJ 3399 [Usaco2009 Mar]Sand Castle城堡(贪心)
查看>>
WCF(一) 简单的认知
查看>>
[MFC][DShow]简单例子
查看>>
降序排列
查看>>
十一、类型转换
查看>>
面试内容,值得一看
查看>>
UILabel
查看>>
【热门技术】三种SEO方式
查看>>
[Hades_技术]哈迪斯初级技术应用
查看>>
SQLiteOpenHelper
查看>>
Luogu P1141 01迷宫【搜索/dfs】By cellur925
查看>>