简单几步教你爬取IOS手机端APP数据

640?wx_fmt=png

作为一名“数据狗”和“码字狗”,手机端APP的数据爬取应该是一项基础技能。其实随着手机的广泛使用,不管是谁,懂点爬取的知识都不吃亏,毕竟“技多不压身”嘛。今天分享的爬取工具与步骤非常简单,数据小白也能很快上手。

此文几个关键点:针对IOS手机应用、以“亲子年票”APP为例、抓包工具为fiddler(不用太了解其专业含义,只要知道它可用来抓包就行~)。

一、下载fiddler并且安装(电脑端)

1.fiddler官方链接:

https://www.telerik.com/download/fiddler

2.需要填写邮箱,照着网站的引导操作;下载后直接常规安装。     

640?wx_fmt=png

                    

二、在fiddler中的两点设置(电脑端)

1.设置允许抓取HTTPS信息包

打开下载好的fiddler,Tools -> Options,然后再HTTPS的工具栏下勾选Decrypt HTTPS traffic,在新弹出的选项栏下勾选Ignoreserver certificate errors。

640?wx_fmt=png

2.设置允许外部设备发送HTTP/HTTPS到fiddler

Tools-> Options,在Connections选项栏下勾选Allow remote computers to connect,并记住上面的端口号8888,后面会使用到。

640?wx_fmt=png

三、得到网络的ip地址(电脑端)

1.注意:需要让电脑和手机处于同一个网络下,可使用wifi或者手机热点等来完成。

2.假如电脑和手机已经处于同一个网络之下,我们需要知道此网络的ip地址,可以在命令行(点击开始--运行--输入CMD--回车)输入ipconfig获得。

640?wx_fmt=png

四、设置手机端(手机端操作)

1.打开手机找到手机wifi网络,并修改该wifi网络详情。

2.选择当前连接网络的更多信息,在苹果手机中是靠右边的一个叹号。

3.在最下面你会看到HTTP代理的选项,点击进入;进入后,填写上面记住的ip地址和端口号,确定保存。

640?wx_fmt=png

五、下载fiddler安全证书并且证书信任(手机端操作)

1.下载fiddler证书

在手机上打开浏览器输入一个上面ip地址和端口号组成的url:http://192.168.1.215:8888,然后点击FiddlerRoot certificate下载fiddler证书。

640?wx_fmt=png

2.证书信任

IOS不同系统对应的证书信任方法不同,IOS10.3/ISO11系统证书信任时设置路径为:设置--通用--关于本机--证书信任设置--(对应证书的开关)。

六、手机端抓包测试(手机端操作)

1.以“北京亲子年票”APP为例(小J曾赖此APP数据码字),爬取下图数据。

640?wx_fmt=png

2.在手机上打开APP,在电脑端可以看到访问数据,右边是数据包申请得到的信息。爬取的数据可以保存成txt格式文件做后续处理。

640?wx_fmt=png

另外,小J在做数据分析过程中的体会:爬取数据较易,整理数据较繁

需要将爬取的数据整理成结构化数据,这其中可以使用的工具包括EXCEL、python、R语言等,有机会小J再一一发文说明,可关注公众号持续关注哟。

想了解更多敬请关注订阅号

640?wx_fmt=png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/58180.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用fiddler实现苹果ios手机抓包

Fiddler是一个强大的抓包工具,可以通过它抓取、查看和调试PC端、手机终端和远程服务器之间的http/https等通信。 Fiddler没有手机客户端,都是安装在PC上,要实现对手机上的程序抓包,则需要对PC上的Fiddler和手机端做一些配置。 此…

使用fiddler实现苹果ios手机抓包--的补充

网上有很多的配置步骤,我就不赘述,这里引用别人的一篇 https://blog.csdn.net/weixin_40608713/article/details/114873070 我这里要补充的是,如果按照常规设置依旧抓不了包,不妨尝试以下方法: 1、打开Fiddler官网链接…

最高年薪近56万!这些专业赢麻了!

来源:新智元 不用赘述,大家都知道,最近半年ChatGPT是有多么火爆。 随着ChatGPT的全球爆火,AIGC也已成功从科技领域破圈,成为跨越所有圈层的全民话题。 AIGC对图文、视频创作的颠覆,对相关行业已经产生了深远…

ChatGPT加强人机交互,共创智能社会|小智AI

ChatGPT丨小智ai丨chatgpt丨人工智能丨OpenAI丨聊天机器人丨AI语音助手丨GPT-3.5丨OpenAI ChatGPT|GPT-4|GPT-3|人机对话|ChatGPT应用|小智ai|小智ai|小智ai|小智ai|小智AI|chatgpt小智AI 自从ChatGPT的诞生以来,它作为一种先进的人工智能语言模型,在为…

【GPT4】微软 GPT-4 测试报告(8)局限性与社会影响

欢迎关注【youcans的AGI学习笔记】原创作品,火热更新中 微软 GPT-4 测试报告(1)总体介绍 微软 GPT-4 测试报告(2)多模态与跨学科能力 微软 GPT-4 测试报告(3)编程能力 微软 GPT-4 测试报告&…

【软件架构思想系列】模块化与抽象

前言 软件架构的本质:软件体系结构是软件系统的基本组织,包括组件的组成、它们之间的关系以及它们之间的交互。 Software architecture is the fundamental organization of a software system, including the composition of its components, the relationships between the…

拿到一套游戏服务端源码,该从哪看起?

开发游戏服务端,经常要接触一套全新的游戏代码。接触新代码贯穿于整个工作生涯,比如,作为刚入职的新人,要去熟悉项目代码,尽快上手工作;调到一个新的项目组工作时,要熟悉已有代码;给…

网页服务器怎么才能挤进去,逆水寒挤不进去服务器是正常操作 那挤进去的玩家都是什么感受?...

原标题:逆水寒挤不进去服务器是正常操作 那挤进去的玩家都是什么感受? 逆水寒开测第一天便形成了近年少见的挤服务器的热度,多少年过去了,鲜有端游能达到这样的挤服务器盛景,关于如何挤进去的技巧我们今天就不提了&…

分享24个网页游戏源代码,总有一个是你想要的

分享24个网页游戏源代码 24个游戏源代码下载链接:https://pan.baidu.com/s/1gYJlj8enJbh5mFS_wMaZBA?pwd4ncb 提取码:4ncb 下面是项目的名字,我放了一些图片,大家下载后可以看到。 Html5JS网页版捕鱼达人游戏 HTML5水果忍者游戏…

JavaScript练手小技巧:我破解了原神官网全屏滚动的秘密

这个标题有点夺人眼球,哈啊哈~骗点击率的。 “原神”官网当真的做的很漂亮,虽然我没玩过这个游戏,但是禁不住喜欢这个网站啊。 https://ys.mihoyo.com/ 最近居家教学上网课。除了上课,实在不想做学校安排的其它任务&#xff0c…

热血江湖2023年官服查线器源码

热血江湖官服查线器源码,方法就是向服务器发送封包,获取返回的服务器大区和线路数据。 等线太难了,主要是想做一个自动查线自动登录游戏的工具,能力有限,先分享查线的源码! 有同样想法的同学可以拿着做有参…

在线答题助手c语言源码,很早之前发的逆水寒答题助手,开源!!自己可以修改成任何答题器源码!~~...

本帖最后由 chenbo1991 于 2020-4-16 11:03 编辑 这个是很早之前玩逆水寒为了科举弄出来的!!~~自己修改几处api就行!~~自己抓包修改就可以了.! QQ截图20200416105826.jpg (56.77 KB, 下载次数: 2) 2020-4-16 10:58 上传 .版本 2 .支持库 iext .判断开始 (组合框1.现行选中项 &a…

我是怎么抓取逆水寒大宋佳人漂亮的小姐姐的呢?70行代码解决问题

一年一度的大宋佳人活动又开始了,小姐姐们又开始了踊跃的报名,都有哪些漂亮的小姐姐呢?不放我们来爬一下看看 注:本文仅用于python爬虫学习,请勿滥用数据,严禁侵犯个人隐私 基础分析 大宋佳人活动主页面…

html制作《逆水寒》心得及部分代码

制作网页的心得和部分代码 布局 原图 首先,我们要明确网页的布局,以此来判断需要几个盒子,放在什么样的位置。从原网页中不难看出,我们可以把这张图分为这几个部分: 大的布局上,我们分为三个盒子。1号大…

chatgpt赋能python:Python分词,助力文本处理和搜索引擎优化

Python分词,助力文本处理和搜索引擎优化 作为一种广泛应用于文本处理的编程语言,Python在分词处理方面也有着得天独厚的优势。Python分词不仅可以帮助我们完成文本处理任务,还能够为搜索引擎优化提供便利。 什么是分词? 分词&a…

巴比特 | 元宇宙每日必读:百度冲刺ChatGPT,CTO王海峰任总指挥,三月份完成内测的目标能否达成?...

摘要:据财联社报道,2月7日百度官宣“文心一言”项目时,给自己掐上了“三月完成内测”的倒计时,多位百度员工表示,高层下了死命令,要在一个月时间内看到产品。为此,百度也集结了公司在深度学习、…

互联网高薪时代,彻底结束了?

作者| Mr.K 编辑| Emma 来源| 技术领导力(ID:jishulingdaoli) 两个月前,马斯克接受媒体采访时亲口承认,推特已裁员80%,从原来的近8000人,减少到了现在的1500名。这么大规模的裁员带来了什么“严重”后果呢&#xff1…

商业计划书范文3000_项目融资商业计划书模板范文PPT

商业计划书(Business Plane),简称为BP,大家可不要小看这一份BP,它是一个非常重要的存在,可以说是一块敲门砖,帮助创业者打开资本市场的大门。那么,如何打造一份项目融资商业计划书,这里为大家整理了一些模板…

项目融资计划书PPT模板

模板介绍 本套项目融资计划书PPT模板,模板编号:P26185,大小10MB,共27页,比例为16:9,由封面、目录、转场页、内容、结尾5个部分构成。 内含橙色,红色多种配色,精美简约风格设计,动态播放效果,精美实用。 一份设计精美…

上市融资计划书PPT模板

模板介绍 一份高质量的PPT模板,可以让你在日常的工作中展示自我、脱颖而出、去赢得更多机会,今天小编分享一份精美的上市融资计划书PPT模板 PPT模板名称:上市融资计划书PPT模板,模板编号:P11463,大小10MB&…