要实现电商的数据分析,电商数据采集是很重要的一环。电商数据采集要分几个步骤完成?每个步骤的意义是什么?每个步骤分别需要怎样的技能?今天这篇文章告诉你。
电商的数据通常需要通过数据采集的方式获得。电商数据采集方法共分为三类:人工采集、报表采集、自动化抓取采集。
1) 人工采集:
人工采集是指运营者自己通过基本的“复制粘贴”的方式到电商平台上采集数据,其一般应用于电商的前台数据,如产品排名、介绍、评论等数据都可以通过人工采集的方式获得。
人工采集的优点是无技术门槛,灵活方便;缺点是效率低下。所以此种方式一般应用于电商运营的关键领域。人工采集是数据化运营中最常见的数据采集方式,采集的数据可以大量应用于关键字优化、产品详情优化等重要的运营环节。
2)报表采集:
报表采集是中小卖家最常用的电商数据采集方式,指通过下载电商平台店铺后台的数据报表完成数据采集,其针对的是后台数据,如广告数据、订单数据、流量数据、店铺流量数据等。报表采集的方式操作较为简单,可以选择具体时间段的下载方式,也可以选择每天自动生成订单报表的设置。
3)自动化抓取采集:
自动化电商数据采集,是指通过爬虫程序自动抓取电商平台的数据,属于技术性的数据采集方式。自动化抓取采集主要应用于量级大、重复性高的数据采集工作,比如竞争对手 的数据监控、数据化选品等。虽然自动化抓取采集到的数据用人工采集也可以完成,但是其采集效率低下,如某关键词排名数据通过自动化抓取采集只需要5~10分钟的时间,而通过人工采集则需要30分钟甚至更久。
自动化抓取采集的实现方式有多种:
第一种是自主研发采集程序;
第二种是使用第三方数据抓取工具
第三种是使用电商平台第三方数据插件。
例如:
京东获得JD商品详情 API 返回值说明
item_get-获得JD商品详情 API测试 注册开通
jd.item_get
公共参数
名称 | 类型 | 必须 | 描述 |
---|---|---|---|
key | String | 是 | 调用key(必须以GET方式拼接在URL中) |
secret | String | 是 | 调用密钥 |
api_name | String | 是 | API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等] |
cache | String | 否 | [yes,no]默认yes,将调用缓存的数据,速度比较快 |
result_type | String | 否 | [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读 |
lang | String | 否 | [cn,en,ru]翻译语言,默认cn简体中文 |
version | String | 否 | API版本 |
请求参数
请求参数:num_iid=10335871600
参数说明:num_iid:JD商品ID
响应参数
Version: Date:
名称 | 类型 | 必须 | 示例值 | 描述 |
---|---|---|---|---|
item | item[] | 0 | 获得JD商品详情 |