分享一个抓取数据产品的方法，也是别人给我说的。

想做一个联盟产品相关的网站，然后需要采集电商网站的产品。咨询大佬告诉我，大量级电商商品数据的采集可以接入专业的电商数据采集API接口，也可以用webscrsper，于是乎就开始研究这个这个工具怎么用的。

​

Webscraper.io 是一个提供网络数据抓取工具的网站。它提供了一个易于使用的界面，让用户可以快速地从网页上提取所需的数据，无需编写复杂的代码。

可以通过定义抓取规则来提取网页上的文本、链接、图像等数据，并将其导出为 CSV、Excel 或 JSON 格式。

item_get-获得淘宝商品详情   注册KEY测试

taobao.item_get

公共参数

名称	类型	必须	描述
key	String	是	调用key（必须以GET方式拼接在URL中）
secret	String	是	调用密钥
api_name	String	是	API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默认yes，将调用缓存的数据，速度比较快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
lang	String	否	[cn,en,ru]翻译语言，默认cn简体中文
version	String	否	API版本

请求参数

请求参数：num_iid=652874751412&is_promotion=1

参数说明：num_iid:淘宝商品ID
is_promotion:是否获取取促销价

响应参数

Version: Date:2022-04-04

名称	类型	必须	示例值	描述
item	item[]	1		宝贝详情数据

 

 

1. 参数说明

   • 通用参数说明
     • 参数不要乱传，否则不管成功失败都会扣费
     • url说明 ……/平台/API类型/ 平台：淘宝，京东等， API类型:[item_search,item_get,item_search_shop等]
     • version:API版本
     • key:调用key,测试key:test_api_key
     • secret:调用secret,测试secret:(不用填写)
     • cache:[yes,no]默认yes，将调用缓存的数据，速度比较快
     • result_type:[json,xml,serialize,var_export]返回数据格式，默认为json
     • lang:[cn,en,ru] 翻译语言，默认cn简体中文
     • secret:密钥

   • API:item_search 参数说明：

     • q:搜索关键字
     • cat:分类ID
     • start_price:开始价格
     • end_price:结束价格
     • sort:排序[bid,bid,bid2,_bid2,_sale,_credit]
       (bid:总价,bid2:商品价格,sale:销量,credit信用,加前缀为从大到小排序)
     • page:页数
     • page_size:每页宝贝数量，默认40
     • seller_info:是否获取商家信息[yes,no],默认yes

   • API:item_get 参数说明: num_iid:宝贝ID