Python爬虫入门02:Fiddler下载使用教程

文章目录

  • 手机抓包全攻略:Fiddler 工具深度解析
    • 引言
    • Fiddler 工具简介
      • 为什么选择 Fiddler?
    • 安装与配置 Fiddler
      • 步骤一:下载与安装
      • 步骤二:配置浏览器代理
      • 步骤三:安装 HTTPS 证书
    • 配置手机以使用 Fiddler
      • 步骤一:连接至同一 Wi-Fi 网络
      • 步骤二:设置手机代理
      • 步骤三:安装 Fiddler 证书于手机
      • Android 和 iPhone 的特殊配置
    • 使用 Fiddler 抓取和修改数据
      • 抓取数据
      • 修改数据
    • 查看数据示例:csdn热门内容
      • 步骤一:过滤特定请求
      • 步骤二:拦截数据
      • 步骤三:查看数据
    • 结语


手机抓包全攻略:Fiddler 工具深度解析

引言

在网络世界的探索中,数据的捕获与分析是理解网络通信的基础。抓包技术允许我们深入观察客户端与服务器之间的交互。本文将引导你通过 Fiddler 工具进行手机抓包,揭开网络请求的神秘面纱。注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。如果有大佬知道可以指引一下,就不要嘲笑咱小白不懂啦!
在这里插入图片描述

Fiddler 工具简介

Fiddler 是一款广受好评的网络调试工具,它提供了一个平台来记录、检查和修改所有经过计算机的 HTTP/HTTPS 流量。它不仅支持桌面应用的网络调试,还能扩展到移动设备。

为什么选择 Fiddler?

  • 跨平台支持:支持 Windows、Mac 和 Linux。
  • HTTPS 抓取:内置 SSL 解密功能,可以捕获加密的 HTTPS 流量。
  • 实时分析:能够实时查看和修改请求与响应数据。
  • 强大的过滤和搜索功能:快速定位到感兴趣的请求。

安装与配置 Fiddler

步骤一:下载与安装

访问 Fiddler 官网,根据你的操作系统下载并安装 Fiddler。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

步骤二:配置浏览器代理

打开软件时会弹出一个弹窗:Windows uses an isolation technology called ‘AppContainer’ that may interfere with traffic capture from Immersive Applications and the Edge browser. Use the WinConfig button in Progress Telerik Fiddler’s toolbar to enable teaffic capture.
Would you like to learn more?
To disable this warning. click ‘Cancel’.
大概意思是这样的:

Windows使用称为“AppContainer”的隔离技术,可能会干扰Immersive Applications和Edge浏览器的流量捕获。 使用Progress Telerik Fiddler工具栏中的WinConfig按钮启用茶叶捕获功能。
你想了解更多吗?
要禁用此警告。 点击“取消”
具体看这位博主的链接:https://blog.csdn.net/u011038298/article/details/87879548
在这里插入图片描述

为了让 Fiddler 能够捕获浏览器的 HTTP/HTTPS 请求,
在这里插入图片描述
需要在浏览器中设置代理:

  • 在浏览器设置中找到网络或代理设置部分。
  • 设置代理服务器为 127.0.0.1,端口为 8888

步骤三:安装 HTTPS 证书

由于大量网络通信采用 HTTPS 加密方式,安装 Fiddler 证书是捕获这些请求的前提:

  • 在 Fiddler 中,通过 Tools -> Options -> HTTPS,
  • 在这里插入图片描述
    勾选 “Decrypt HTTPS traffic”。
    在这里插入图片描述
    弹出的弹窗:To intercept HTTPS traffic, Fiddler Classic generates a unique root certificate.

You may configure Windows to trust this root certificate to suppress
security warnings. This is generally safe.

Click ‘Yes’ to reconfigure Windows’ Trusted CA list.
Click ‘No’ if this is all geek to you.
在手动信任证书时,提示Unable to configure Windows to Trust the Fiddler Root certificate.The LOG tab may contain more infor

大致意思是:创建root证书不成功,我点击了yes,弹出了下一个弹窗,继续点击是,弹出了下一个弹窗,最后弹出了ok的弹窗。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 点击 “Reset All Certificates” 并重启 Fiddler。

  • 完事之后回到你的浏览器输入:
    localhost:8888
    在这里插入图片描述

  • 访问 localhost:8888 来下载并安装 FiddlerRoot 证书。当然,有些可能像我这样上来就没问题的就不用管了。直接往下走去手机配置。目前 我接触到有两种方式,一种是以下链接的:http://t.csdnimg.cn/bMLha,另一种就是我下面采取的这种。这种时候再看就可以看到抓包的内容了:在这里插入图片描述

配置手机以使用 Fiddler

步骤一:连接至同一 Wi-Fi 网络

确保你的手机和电脑连接到同一个 Wi-Fi 网络。然后电脑端需要进行下面的配置,然后查询电脑的ip地址,在这里插入图片描述
在这里插入图片描述

步骤二:设置手机代理

在手机的 Wi-Fi 设置中,配置代理以指向你的电脑:

  • 代理服务器地址设置为电脑的 IPv4 地址。
  • 端口设置为 8888
  • 在这里插入图片描述

步骤三:安装 Fiddler 证书于手机

  • 访问电脑的 IPv4 地址加 :8888 在手机浏览器中。但是这里我失败了,只能是从电脑导入证书再尝试了。在这里插入图片描述
    在这里插入图片描述

  • 下载并安装 FiddlerRoot 证书。

Android 和 iPhone 的特殊配置

  • Android:安装证书后通常无需额外配置。
  • iPhone:在设置 -> 通用 -> 关于本机 -> 证书信任设置中,信任安装的证书。
    此时我打开小红书就已经获取到数据了。在这里插入图片描述

使用 Fiddler 抓取和修改数据

抓取数据

开启 Fiddler 并确保手机代理设置正确,当你在手机上浏览网页或使用应用时,所有流量将通过 Fiddler,你可以在 Fiddler 界面中看到这些请求和响应。

修改数据

Fiddler 不仅可以捕获数据,还可以修改它们:

  1. 在 Fiddler 界面中找到你想要修改的请求或响应。
  2. 双击打开 Inspectors 面板。
  3. 在 Inspectors 面板中修改请求头、正文或响应数据。
  4. 点击 “Run to Completion” 将修改后的数据发送至客户端。
    注意:目前是2024年版本,经过测试发现,有些app是爬取不了啦,具体原因不清楚,搜索了很多都没找到解决办法,目前测试的小红X和bibilili都是不行的了,q和wei都还行。

查看数据示例:csdn热门内容

步骤一:过滤特定请求

在 Fiddler 中设置过滤规则,只显示来自或发往 csdn的请求。
在这里插入图片描述

步骤二:拦截数据

使用 ALT+F11 拦截所有返回数据。
在这里插入图片描述

步骤三:查看数据

点击我们要查看的接口,就能在右边看到返回的数据了,上面是请求,下面是返回的数据。
在这里插入图片描述

结语

Fiddler 是网络开发者和安全研究人员的瑞士军刀。通过本文的指南,你现在可以开始自己的网络抓包之旅,探索和理解网络请求的每一个细节。随着实践的深入,你将发现更多 Fiddler 的强大功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/388940.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

堆的创建和说明

文章目录 目录 文章目录 前言 小堆: 大堆: 二、使用步骤 1.创建二叉树 2.修改为堆 3.向上调整 结果实现 总结 前言 我们已经知道了二叉树的样子,但是一般的二叉树是没有什么意义的,所以我们会使用一些特殊的二叉树来进行实现&a…

码农职场:一本专为IT行业求职者量身定制的指南

目录 写在前面 推荐图书 推荐理由 写在后面 写在前面 本期博主给大家推荐一本专为IT行业求职者量身定制的指南:《码农职场》。 推荐图书 https://item.jd.com/14716160.html 内容简介 这是一本专为广大IT 行业求职者量身定制的指南,提供了从职前…

Netty 必知必会(四)—— Channel-Pipeline 责任链

一、责任链模式 适用场景: 对于一个请求来说,如果每个对象都有机会处理它,而且不明确到底是哪个对象会处理请求时,我们可以考虑使用责任链模式实现它,让请求从链的头部往后移动,直到链上的一个节点成功处理了它为止 …

python爬虫初识

一、什么互联网 互联网(Internet)是全球范围内最大的计算机网络,它将数以百万计的私人、公共、学术、商业和政府网络通过一系列标准通信协议(如TCP/IP)连接起来形成的一个庞大的国际网络。 互联网的起源可以追溯到196…

Java 后端已经过时的技术,也是我逝去的青春

最近这段时间收到了一些读者的私信,问我某个技术要不要学,还有一些的同学竟然对 Java 图形化很感兴趣,还想找这方面的工作。 我接触 Java 已近 10多年了,见证了许多 Java 技术变迁,包括: JavaEE 框架&…

常见的应急救援设备有哪些_鼎跃安全

在我们的生活中,应急事件的发生常常是突如其来的,它们对人民的生命财产安全构成重大威胁,同时也对社会稳定提出严峻挑战。在这样的紧急情况下,迅速开展有效的救援工作显得尤为重要。而在整个救援过程中,应急设备的使用…

1-4章节复习总结

1-4章节总结 章节重点回顾-第一章-中央处理单元练习题 章节重点回顾-第一章-进制章节重点回顾-第一章-校验码奇偶校验码CRC循环冗余校验码海明码练习题 多草节重点回顾-第一草-计算机体系结构分类章节重点回顾-第一章-计算机指令练习题 章节重点回顾-第一章-指令流水线练习题 章…

canvas绘制表格

canvas绘制表格 最近在为公司产品做技术预研,经理让用canvas做一个表格,于是就有了这篇博客。 我们的数据是后端通过MQTT推送过来的 我在代码中也直接使用了 具体MQTT的实现代码,可见博客 在vue使用MQTT 在这里为了方便实用我直接封装成组件…

POI 快速入门 Excel导入导出

Excel导入导出 1 什么是POI POI简介(Apache POI),Apache POI是Apache软件基金会的开放源码函式库,POI提供API给Java程序对Microsoft Office格式档案读和写的功能。 Apache POI官网http://poi.apache.org/ HSSF - 提…

攻防世界之《这个按钮做什么》题解

下载解压后,发现只有一个文件。 放入exeinfope软件里看看 根据activity猜测可能是安卓软件,修改文件后缀为.apk 然后用模拟器打开这个软件并会自动安装。 打开软件界面如下: 看得出来只有一个密码输入框,应该找到对应的密码就会…

每日一面系列之美团面试拷打:ConcurrentHashMap 为何不能插入 null?HashMap 为何可以

ConcurrentHashMap 为什么 key 和 value 不能为 null? ConcurrentHashMap 的 key 和 value 不能为 null 主要是为了避免二义性。null 是一个特殊的值,表示没有对象或没有引用。如果你用 null 作为键,那么你就无法区分这个键是否存在于 Concu…

仓颉语言 -- 网络编程

使用新版本 (2024-07-19 16:10发布的) 1、网络编程概述 网络通信是两个设备通过计算机网络进行数据交换的过程。通过编写软件达成网络通信的行为即为网络编程。 仓颉为开发者提供了基础的网络编程功能,在仓颉标准库中,用户可使用…

资源|Python入门必看书籍,适合零基础小白,附PDF

小编为初学Python的朋友们汇总了7本零基础入门书籍,包括Python三剑客等,都是在编程届多年畅销的书籍,也是众多从业者的选择,全文详细介绍了书籍主要内容,有需要的宝子根据自身情况自取 需要书籍PDF的宝子评论区留言哦 …

IIS解析漏洞~IIS6.X漏洞分析

类型代码量作用一句话木马代码量极少配合webshell管理工具使用小马代码量比小马多大马代码量最多功能比较完善(执行命令,文件操作等)图片马里面传有一句话木马 文件解析漏洞是由于中间件错误的将特殊格式的文件解析成可执行网页文件(脚本)&am…

我在高职教STM32——串口通信(4)

大家好,我是老耿,高职青椒一枚,一直从事单片机、嵌入式、物联网等课程的教学。对于高职的学生层次,同行应该都懂的,老师在课堂上教学几乎是没什么成就感的。正因如此,才有了借助 CSDN 平台寻求认同感和成就感的想法。在这里,我准备陆续把自己花了很多心思的教学设计分享…

Python机器学习实战:分类算法之支持向量机-垃圾邮件识别

为了解决特定问题而进行的学习是提高效率的最佳途径。这种方法能够使我们专注于最相关的知识和技能,从而更快地掌握解决问题所需的能力。 目录 支持向量机算法介绍 练习题 Python代码与分析 支持向量机和朴素贝叶斯的联系 支持向量机算法介绍 支持向量机&#…

Notepad++ 安装 compare 插件

文章目录 文章介绍对比效果安装过程参考链接 文章介绍 compare 插件用于对比文本差异 对比效果 安装过程 搜索compare插件 参考链接 添加链接描述

企业邮箱如何支持免费试用?

企业邮箱如何支持免费试用?Zoho企业邮箱提供多种版本,支持免费试用,具备权威认证、信息安全、全球部署等特点。试用步骤包括访问官网、选择版本、输入信息、验证域名等。特色功能包括定制化界面、搜索、日程安排等。支持多种设备和操作系统。…

腾讯服务器单机版 kafka 3.7 安装

1.Kafka是什么 Kafka是Apache开源的一款基于zookeeper协调的分布式消息系统,具有高吞吐率、高性能、实时、高可靠等特点,可实时处理流式数据。它最初由LinkedIn公司开发,使用Scala语言编写。 Kafka历经数年的发展,从最初纯粹的消…

MySQL:QEP 查询执行计划

QEP QEP 是指查询执行计划(Query Execution Plan),它是由数据库系统在执行查询时生成的一组操作指令。这些指令定义了查询的具体执行方式,包括涉及哪些表、使用哪些索引、以及哪些算法、操作符等。 查询执行计划是数据库查询优化…