对于想抓取HTTPS的测试初学者来说常用的工具就是fiddler。但是初学时大家对于fiddler如何抓取HTTPS难免走歪路也许你一步步按着网上的帖子成功了这自然是极好的。但也有可能没那么幸运这时候你就会很抓狂。为此我把一些我自己的安装经验和网络上的教程进行了整合下面为大家演示如何用fiddler抓取HTTPS的详细教程。如若失败请先仔细检查避免错过细节然后重新重试01、浅谈HTTPS我们都知道HTTP并非是安全传输在HTTPS基础上使用SSL协议进行加密构成的HTTPS协议是相对安全的。目前越来越多的企业选择使用HTTPS协议与用户进行通信如百度、谷歌等。HTTPS在传输数据之前需要客户端浏览器与服务端网站之间进行一次握手在握手过程中将确立双方加密传输数据的密码信息。网上有诸多资料有些写得过于晦涩难懂尤其是需要密码学的一些知识。我做了一下简单的整理刨除复杂的底层实现单从理解SSL协议的角度宏观上认识一下HTTPS。一言以弊之HTTPS是通过一次非对称加密算法如RSA算法进行了协商密钥的生成与交换然后在后续通信过程中就使用协商密钥进行对称加密通信。HTTPS协议传输的原理和过程简图如下所示HTTPS协议传输原理一共有8个步骤我们针对每一步具体看看发生了什么事第一步客户端发起明文请求将自己支持的一套加密规则、以及一个随机数Random_C发送给服务器。第二步服务器初步响应服务器根据自己支持的加密规则从客户端发来的请求中选出一组加密算法与HASH算法生成随机数并将自己的身份信息以证书CA的形式发回给浏览器。CA证书里面包含了服务器地址加密公钥以及证书的颁发机构等信息。这时服务器给客户端的包括选择使用的加密规则、CA证书、一个随机数Random_S。第三步客户端接到服务器的初步响应后做四件事情1证书校验 验证证书的合法性颁发证书的机构是否合法证书中包含的网站地址是否与正在访问的地址一致等。2生成密码浏览器会生成一串随机数的密码Pre_master并用CA证书里的公钥加密(enc_pre_master)用于传给服务器。3计算协商密钥此时客户端已经获取全部的计算协商密钥需要的信息两个明文随机数 Random_C 和 Random_S 与自己计算产生的 Pre-master计算得到协商密钥enc_key。enc_keyFuc(random_C, random_S, Pre-Master)4生成握手信息使用约定好的HASH计算握手消息并使用协商密钥enc_key及约定好的算法对消息进行加密。第四步客户端将第三步产生的数据发给服务器这里要发送的数据有三条1用公钥加密过的服务器随机数密码enc_pre_master2客户端发给服务器的通知“以后我们都要用约定好的算法和协商密钥进行通信的哦”。3客户端加密生成的握手信息。第五步服务器接收客户端发来的数据要做以下四件事情1私钥解密使用自己的私钥从接收到的enc_pre_master中解密取出密码Pre_master。2计算协商密钥此时服务器已经获取全部的计算协商密钥需要的信息两个明文随机数 Random_C 和 Random_S 与Pre-master计算得到协商密钥enc_key。enc_keyFuc(random_C, random_S, Pre-Master)3解密握手消息使用协商密钥enc_key解密客户端发来的握手消息并验证HASH是否与客户端发来的一致。4生成握手消息使用协商密钥enc_key及约定好的算法加密一段握手消息发送给客户端。第六步服务器将第五步产生的数据发给客户端这里要发的数据有两条1服务器发给客户端的通知”听你的以后我们就用约定好的算法和协商密钥进行通信哦“。2服务器加密生成的握手信息。第七步客户端拿到握手信息解密握手结束。客户端解密并计算握手消息的HASH如果与服务端发来的HASH一致此时握手过程结束。第八步正常加密通信握手成功之后所有的通信数据将由之前协商密钥enc_key及约定好的算法进行加密解密。这里客户端与服务器互相发送加密的握手消息并验证目的是为了保证双方都获得了一致的密码并且可以正常的加密解密数据为后续真正数据的传输做一次测试。另外HTTPS一般使用的加密与HASH算法如下非对称加密算法RSADSA/DSS对称加密算法AESRC43DESHASH算法MD5SHA1SHA256其中非对称加密算法用于在握手过程中加密生成的密码对称加密算法用于对真正传输的数据进行加密而HASH算法用于验证数据的完整性。由于浏览器生成的密码是整个数据加密的关键因此在传输的时候使用了非对称加密算法对其加密。非对称加密算法会生成公钥和私钥公钥只能用于加密数据因此可以随意传输而服务器的私钥用于对数据进行解密所以服务器都会非常小心的保管自己的私钥防止泄漏。02、Fiddler抓取HTTPS协议原理我们都知道Fiddler是个很好的代理工具可抓取协议请求用于调试。关于Fiddler抓取HTTP协议的原理和配置比较简单对Fiddler和客户端稍作配置便能使得Fiddler轻易地获取HTTP请求。但是由于HTTPS协议的特殊性要进一步地配置Fiddler我们首先要了解一下fiddler抓取HTTPS协议的原理才能更好地理解如何对fiddler进行配置。Fiddler本身就是一个协议代理工具在上一节HTTPS原理图上客户端与服务器端进行通信的过程全部都由Fiddler获取到也就是如下图所示Fiddler抓取HTTPS协议原理图我们看到Fiddler抓取HTTPS协议主要由以下几步进行第一步Fiddler截获客户端发送给服务器的HTTPS请求Fiddler伪装成客户端向服务器发送请求进行握手 。第二步服务器发回相应Fiddler获取到服务器的CA证书 用根证书公钥进行解密 验证服务器数据签名 获取到服务器CA证书公钥。然后Fiddler伪造自己的CA证书 冒充服务器证书传递给客户端浏览器。第三步与普通过程中客户端的操作相同客户端根据返回的数据进行证书校验、生成密码Pre_master、用Fiddler伪造的证书公钥加密并生成HTTPS通信用的对称密钥enc_key。第四步客户端将重要信息传递给服务器 又被Fiddler截获。Fiddler将截获的密文用自己伪造证书的私钥解开 获得并计算得到HTTPS通信用的对称密钥enc_key。Fiddler将对称密钥用服务器证书公钥加密传递给服务器。第五步与普通过程中服务器端的操作相同服务器用私钥解开后建立信任然后再发送加密的握手消息给客户端。第六步Fiddler截获服务器发送的密文 用对称密钥解开 再用自己伪造证书的私钥加密传给客户端。第七步客户端拿到加密信息后用公钥解开验证HASH。握手过程正式完成客户端与服务器端就这样建立了”信任“。在之后的正常加密通信过程中Fiddler如何在服务器与客户端之间充当第三者呢服务器—客户端Fiddler接收到服务器发送的密文 用对称密钥解开 获得服务器发送的明文。再次加密 发送给客户端。客户端—服务端客户端用对称密钥加密被Fiddler截获后解密获得明文。再次加密发送给服务器端。由于Fiddler一直拥有通信用对称密钥enc_key 所以在整个HTTPS通信过程中信息对其透明。从上面可以看到Fiddler抓取HTTPS协议成功的关键是根证书具体是什么可Google,这是一个信任链的起点这也是Fiddler伪造的CA证书能够获得客户端和服务器端信任的关键。接下来我们就来看如果设置让Fiddler抓取HTTPS协议。03、Fiddler抓取HTTPS设置注意以下操作的前提是手机已经能够连上Fiddler这部分的配置过程简单就不赘述了可参考手机如何连接Fiddler 。如何继续配置让Fiddler抓取到HTTPS协议呢一首先对Fiddler进行设置打开工具栏-Tools-Fiddler Options-HTTPS选中Capture HTTPS CONNECTs因为我们要用Fiddler获取手机客户端发出的HTTPS请求所以中间的下拉菜单中选中from remote clients only。选中下方Ignore server certificate errors.二然后就是手机安装Fiddler证书。这一步也就是我们上面分析的抓取HTTPS请求的关键。操作步骤很简单打开手机浏览器在浏览器地址输入代理服务器IP和端口会看到一个Fiddler提供的页面。接着点击最下方的FiddlerRoot certificate这时候点击确定安装就可以下载Fiddler的证书了。下载安装完成好后我们用手机客户端或者浏览器发出HTTPS请求Fiddler就可以截获到了就跟截获普通的HTTP请求一样。好啦以上就是关于HTTPS的简介以及Fiddler如何获取HTTPS协议的原理和配置看到Fiddler整齐划一地截获到HTTP和复杂的HTTPS协议心里还有点小激动呢最后下方这份完整的软件测试视频教程已经整理上传完成需要的朋友们可以自行领取【保证100%免费】​​​软件测试面试文档我们学习必然是为了找到高薪的工作下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料并且有字节大佬给出了权威的解答刷完这一套面试资料相信大家都能找到满意的工作。