闲鱼APP爬虫

写在前面:实现闲鱼APP的特定关键字商品检索

实现思路:首先想到使用此前用到的appium驱动app实现数据获取和订单生成,而后通过app抓包分析获取接口

1.appium实现

首先是搭建环境,此前进行工作时,搭建过环境,积累了一定经验,现总结如下

1.1前言知识

参考链接:http://www.testclass.net/appium/appium-base-summary/

appium 是一个自动化测试开源工具,支持 iOS 平台和 Android 平台上的原生应用,web应用和混合应用。

  • “移动原生应用”是指那些用iOS或者 Android SDK 写的应用(Application简称app)。

  • “移动web应用”是指使用移动浏览器访问的应用(appium支持iOS上的Safari和Android上的 Chrome)。

  • “混合应用”是指原生代码封装网页视图——原生代码和 web 内容交互。比如,像 Phonegap,可以帮助开发者使用网页技术开发应用,然后用原生代码封装,这些就是混合应用。

重要的是,appium是一个跨平台的工具:它允许测试人员在不同的平台(iOS,Android)使用同一套API来写自动化测试脚本,这样大大增加了iOS和Android测试套件间代码的复用性。

 

appium类库封装了标准Selenium客户端类库,为用户提供所有常见的JSON格式selenium命令以及额外的移动设备控制相关的命令,如多点触控手势和屏幕朝向。

appium客户端类库实现了Mobile JSON Wire Protocol(一个标准协议的官方扩展草稿)和W3C WebDriver spec(一个传输不可预知的自动化协议,该协议定义了MultiAction 接口)的元素。

appium服务端定义了官方协议的扩展,为appium 用户提供了方便的接口来执行各种设备动作,例如在测试过程中安装/卸载App。这就是为什么我们需要appium特定的客户端,而不是通用的Selenium 客户端。当然,appium 客户端类库只是增加了一些功能,而实际上这些功能就是简单的扩展了Selenium 客户端,所以他们仍然可以用来运行通用的Selenium会话。

 

1.2环境配置

1)安装Node.js,直接下载安装即可因为appium是基于node.js实现的,需要提前安装

下载链接如下:https://nodejs.org/zh-cn/

通过node -v 查看版本,确定是否安装成功

2)安装JDK,及配置环境变量

JDK为java开发环境,网上教程较多,可以参考如下链接:

https://blog.csdn.net/qq_38125058/article/details/82890856

3)安装SDK,及配置环境变量

SDK时andriod开发的工具包,是安卓开发必备的,在appium测试中需要使用其中的一些资源程序,并配置环境变量以便调用

参考文章:https://zhuanlan.zhihu.com/p/49193525

下载链接:https://www.androiddevtools.cn/

下载界面如下:

注意下载后打开SDK Mansger.exe并安装资源库,注意安装与android版本一致的API

而后配置ANDROID_HOME环境变量为android-sdk文件夹

并添加

%ANDROID_HOME%\tools

%ANDROID_HOME%\platform-tools

输入adb version测试

4)安装Appium桌面版本

下载链接:http://appium.io/

最新版appium没有appium-doctor程序进行检查,可以通过nodejs下载,进行检查是否配置成功

1.3开始测试

使用python进行测试,首选需要安装python的appium-python-client库

首先打开雷电模拟器,使用adb devices查看是否连接成功

成功后,启动appium,运行python程序

# 导入webdriver
from appium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
# 初始化参数
desired_caps = {'platformName': 'Android',  # 被测手机是安卓'platformVersion': '5.1.1',  # 手机安卓版本'deviceName': 'emulator-5554',  # 设备名,安卓手机可以随意填写'appPackage': 'com.taobao.idlefish',  # 启动APP Package名称'appActivity': 'com.taobao.fleamarket.home.activity.MainActivity',  # 启动Activity名称'noReset': True,  # 不要重置App,如果为False的话,执行完脚本后,app的数据会清空,比如你原本登录了,执行完脚本后就退出登录了
}
# 连接Appium Server,初始化自动化环境
driver = webdriver.Remote('http://localhost:4723/wd/hub', desired_caps)
wait = WebDriverWait(driver, 30)
search_entry = wait.until(EC.presence_of_element_located((By.ID, 'com.taobao.idlefish:id/search_bar_layout')))
search_entry.click()
search_name = wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'android.widget.EditText')))
search_name.set_text('redmik30')
search_button = wait.until(EC.presence_of_element_located((By.XPATH, "//*[@text='搜索']")))
search_button.click()
wait.until(EC.presence_of_element_located((By.CLASS_NAME, "android.widget.ScrollView")))
# time.sleep(10)
while True:driver.swipe(500, 1900, 500, 300, 300)items = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//*[@class='android.widget.ScrollView']/android.view.View")))for item in items:print(item)

由于前期没有android基础,对于desired_caps参数不了解,走了很多弯路

appPackage和appActivity通过adb命令可查看

通过命令:adb shell dumpsys window w |findstr \/ |findstr name=查看相关属性

2.APP抓包分析

2.1使用代理抓包

通过fildder代理抓包,开始fildder后,在雷电模拟器设置系统代理

经测试浏览器流量成功被代理、但app流量代理失效

经过查阅资料治app自动忽略系统代理,通过下载全局代理软件proxyDroid实现全局代理,进而绕过

下载链接如下:https://download.csdn.net/download/weixin_43906500/16634072

成功获取数据包

2.2分析接口

查看请求,发现闲鱼搜索请求参数存在加密,难以分析,如果要进行后续分析需要学习安卓逆向知识,进行源码分析

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/56336.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

闲鱼上哪些商品抢手?Python 分析后告诉你

点击上方“AirPython”,选择“置顶公众号” 第一时间获取 Python 技术干货! 阅读文本大概需要 10 分钟。 1 目 标 场 景 经常看到有朋友在闲鱼卖些小东西又或是自己擅长的一些技能,都能为他们带来不错的 睡后收入。 闲鱼上大量的商品&#xf…

向消息延迟说bybye:闲鱼消息及时到达方案(详细)

背景 IM消息作为闲鱼用户重要的交易咨询工具,核心目标有两点,第一是保证用户的消息不丢失,第二是保证用户的消息及时送达接收方。IM消息根据消息的接收方设备是否在线,分为离线和在线推送,数据显示目前闲鱼每天有超过一…

java爬取闲鱼商品信息(一)

闲鱼真是一个很神奇的地方, 能让我等学生狗不用花很多钱就能体验科技的乐趣,当然,前提是别翻车。 好了,这当然是题外话,这阵子总结了自己学习的一些技能,就写一个对闲鱼的数据抓取来练练手。 预计达到的目…

网络爬虫淘宝api,获得淘宝app商品详情原数据

item_get_app-获得淘宝app商品详情原数据 注册测试 请求参数 请求参数:num_iid520813250866 参数说明:num_iid:淘宝商品ID 名称类型必须描述keyString是调用key(必须以GET方式拼接在URL中)secretString是调用密钥api_nameStr…

闲鱼搜索相关性——体验与效率平衡的背后

背景 闲鱼搜索是闲鱼APP最大的成交场景入口, 成交归因中搜索占一半以上,所以提高成交效率是工程和算法迭代优化的主要目标,然而只以效率为最终的衡量标准不但会影响搜索的质量阻碍成交,还会恶化整个平台的长期生态建设无法成长&am…

闲鱼唤端的背后

背景 众所周知,想要DAU稳步上升,端外引流是一个必不可少的手段,常见的引流方式有:广告投放、分享回流、流量互换等,而他们也有着一个共同的技术问题,就是唤端,本文着重分享一下唤端的相关知识以…

闲鱼最新选品技巧,快速帮你找到爆款!

在星球里面,每天可以获得一些数据,主要是闲鱼热销品,稳定品类,还有一些三方的工具。 户外最近是个热品类,基本很多爆款都是从这里产生的,从前段时间分享的帐篷,板凳,烧烤架&#xff…

闲鱼商品理解数据分析平台——龙宫

引言 闲鱼是一个以C2C为主的平台,区别于B端的用户,C端卖家在发布商品时更倾向于图描述的轻发布模式,对于补充商品的结构化信息往往执行力和专业程度都不高,这为我们的商品理解带来了很大的困难。为了能够在发布侧获得更多的商品结…

闲鱼API接口,如何获取原生数据

闲鱼平台API,item_app 获得闲鱼原生数据 num_iid:闲鱼商品ID 点击获取key和secret* 当你有了账号时候点到测试页面,下面是我测试的结果 返回参数 Result Object: --------------------------------------- {"item": {"all_result&q…

闲鱼榜单数据

昨天有个客户给我看了这个页面,感觉挺有意思的:闲鱼榜单。 系统集成了各个行业,还推荐了用户可能感兴趣的行业的关键词,然后将行业内的卖家做一个排行。 比如潮玩行业的排名就是这样的: 然后就临时做了个接口&#xff…

闲鱼消息发展回顾

引言 闲鱼消息系统经过几代开发的建设,目前稳定的支撑亿级消息体量。在消息系统建设过程中,我们经历了从简单到复杂,从困扰到破局,每一次的技术改变都是为了更好的解决当下业务面临的问题。“忆昔午桥桥上饮,坐中多是豪…

电商搜索里都有啥?详解闲鱼搜索系统(长文)

搜索是电商平台的核心流量入口,承载着平台主要的成交引导、意图收敛、活动投放。一个稳定、高效、可扩展的搜索系统是电商平台得以生存发展的基石。本文探讨如何构建完善的商品搜索系统, 并根据闲鱼二手交易的差异化特性介绍闲鱼搜索系统的时效性优化。 …

闲鱼关键词,实现闲鱼APP的特定关键字商品检索

最近碰上个需求 需要根据关键词检索出所有商品,可以指定价格范围,地点,和最新排序,去发现有某位大佬的一个项目刚好符合这个需求。放到这里分享一下给大家。因为系统不便公开需要的可以找我 任务设置页面 可以设置关键词&#xf…

闲鱼商品选投实时性优化

马赫是闲鱼的选品和投放系统,闲鱼业务中多数商品都是孤品即单库存商品,所以商品的实时变更需要即刻反馈到选品和投放链路中,为了满足业务诉求马赫设计之初就把实时性作为最重要的技术目标,随着系统的运行数据的膨胀实时性也遇到了…

闲鱼已售商品信息查询系统。手搓市场定价/行情查询利器

前段时间自己手搓出来一个闲鱼已售商品查询接口,最近有时间,就把接口搞成了软件。 软件作用: 可以方便地查询闲鱼已经成交的商品信息,包括成交价格、成交时间、挂单后多少天成交(成交效率)、以及商品信息&a…

产品优化策略,有效提升产品自身竞争力,我赌你一定没用过

新媒体时代自移动互联网诞生之日便处于不断变化的事态之中,为了迎合时代发展要求,大数据、云计算等移动互联网技术获得了迅猛发展,智能手机也已经成为人们生活、工作中不可或缺的元素。在智能手机中,各种类型的APP占据了智能手机很…

2022届计算机毕业论文(设计)学生选题参考合集推荐收藏

大四的同学马上要开始毕业设计啦,大家做好准备了没! 给大家详细整理了计算机毕设最新选题,对选题有任何疑问,都可以问我哟~ 1基于JavaEE的问卷调查系统的设计与实现2基于SSM的山西工商学院校园跑腿代取系统的设计与实现3基于Web的…

计算机毕业论文选题推荐|软件工程|信息管理|数据分析|系列一

文章目录 导文题目导文 计算机毕业论文选题推荐|软件工程|信息管理 (***语言)==使用其他任何编程语言 例如:基于(***语言)门窗账务管理系统的设计与实现 得到:基于JAVA门窗账务管理系统的设计与实现 基于vue门窗账务管理系统的设计与实现 等等 题目 基于requests多线程…

湖北专升本数据结构

绪论 1.线性结构:是一一对应的关系。 2.集合结构:相当于一个班级,一个圈里面有很多。 3.“树”的数据结构:一对多的关系。 4.“图”的数据结构:多对多的关系。 名词解释 数据:是客观事实的符号表示,是所有能输入到计算机的符号的名称。 数据元素:…