用python爬取店铺信息,并生成json文件

一、json简单介绍

JSON是用于存储和交换数据的语法,是一种轻量级的数据交换格式。经常用于接口数据传输、序列化、配置文件等
json的形式有2种:键值对形式)、数组形式
python可以通过json库,解析字符串或文件中的内容转为json字符串或python的字典或列表

二、json中会有几个常用的方法

	dumps()	将python对象编码成json字符串loads()	解码json数据,返回python对象dump()	将python对象编码成json数据并写入json文件中load()	从json文件中读取数据并解码为Python对象

这个是下载的数据
在这里插入图片描述

三、简单使用

import requests
import json
import mathheaders = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
# 参数op=keyword表示按城市查询
url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
city = input('输入要查询的城市:')
data = {'keyword': city,'pid': '','pageIndex': '1','pageSize': '10','cname': ''
}
res = requests.post(url=url, data=data, headers=headers)res_json = res.json()
row_counts = res_json['Table'][0]['rowcount']  # 记录总条数
page_counts = math.ceil(row_counts / 10)  # 总页数,向上取整
pageIndex = 1  # 当前页数
while pageIndex < page_counts:pageIndex += 1data['pageIndex'] = str(pageIndex)  # 改变当前页码# Table对应的值不变,只需改变Table1的列表长度res_json['Table1'] += json.loads(requests.post(url=url, data=data, headers=headers).text)['Table1']# # 保存格式化后的JSON
# indent  设置缩进空格数
# ensure_ascii  对中文使用ASCII编码,默认为True
# sort_keys  排序with open(r'./'+city+'.json', 'w', encoding='utf-8') as fp:res_formatted = json.dumps(res_json, indent=4, ensure_ascii=False, sort_keys=False)fp.write(res_formatted)print('ok')

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/39878.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

cookie的工作原理、cookie的重要性

首先需要了解一下cookie 通俗的来说&#xff1a;cookie是浏览器端用来验证网页的标识比如&#xff1a;你经常在浏览器上登录某些网页平台&#xff0c;比如CSDN博客&#xff0c;登录账号密码进去之后进入了主页 当你想再浏览器个人信息页面的时候&#xff0c;这个时候请求个人信…

指纹浏览器和防关联浏览器都一样吗,哪个防关联效果好?

所谓防关联浏览器就是我们常说的指纹浏览器或者超级浏览器&#xff0c;防关联浏览器目前主要应用于跨境电商行业&#xff0c;可以用来多账号登录时防止账号被关联。 对账号关联有过一点了解的小伙伴都知道&#xff0c;当我们的账号在登录跨境电商平台的时候&#xff0c;这些平…

如何屏蔽油管网页上的广告

一、添加浏览器拓展插件adblock plus 浏览器管理拓展&#xff0c;添加adblock plus插件即可自动屏蔽

如何应对亚马逊封号行为?亚马逊大卖家封号处理方法分享

说起亚马逊跨境电商大卖家&#xff0c;应该是很多新手卖家羡慕的对象。大家都很期待亚马逊大卖家分享一下运营经验&#xff0c;从中学习一些运营思路。而对于亚马逊大卖们如何应对亚马逊平台的频发封号问题&#xff1f;相信很多新手卖家都想知道大卖家们是怎么应对的&#xff1…

Fiddler 抓不到浏览器包的种种原因

代理未设置成功 fiddler 之所以能抓包,本质上是因为浏览器/App/软件设置了代理为 fiddler。一旦遇到抓不到包的情况,首先应排查浏览器代理是否设置正确。 以 Chrome 为例,代理设置为: 右上角菜单按钮 > 设置 > 高级 > 系统 > 打开您计算机的代理设置 确保代…

亚马逊测评自养号环境系统的介绍和用法

市面上的网络环境有非常多种,纯ip类的有luminati,911,G3,M5,谷歌fi,纯环境类的有VM,ads, 巨象,林肯法球等等。还有VPS比如无间道,手机AWZ /ALS 还有一些环境+IP的比如云手机,雷神云,跨境卫士,紫鸟,GCS 等等,这些都是我用过的。 用法也有很多比如lumi可以直接走本…

最安全的多账号防关联指纹浏览器:Hubstudio

1、环境安全&#xff0c;经过个第三方检测网站检测&#xff0c;环境伪装度国内顶尖&#xff0c;很多环境伪装度到100%或者评分A&#xff1b; 2、技术实力最强&#xff0c;紫鸟旗下新产品&#xff0c;6年指纹浏览器技术经验&#xff0c;国内第一家指纹浏览器&#xff0c;国内最强…

AWS帮助紫鸟提升平台用户的出海速度

对于千千万万的跨境电商来说&#xff0c;店铺是他们的生存命脉&#xff0c;而安全运营则是其首要关注的问题。紧贴用户需求&#xff0c;紫讯科技构建跨境电商运营服务生态&#xff0c;为全球卖家提供更深入的数字资产安全托管服务以及数据运营指导。为了加快产品迭代速度&#…

马斯克把推特图标换成狗头/ 早晨课越多成绩越差/ 云天励飞登陆科创板…今日更多新鲜事在此...

日报君 发自 凹非寺量子位 | 公众号 QbitAI 大家好&#xff0c;今天是4月4日&#xff0c;星期二。 上2休1上2休2的一周&#xff0c;明天又放假咯。 今日科技圈还有哪些新鲜事儿&#xff0c;一起来看。 AI创企云天励飞登陆科创板&#xff1a;市值超360亿元 据IPO早知道消息&…

ChatGPT 可视化3D嵌入

该示例使用 PCA 将嵌入的维数从 1536 减少到 3。然后我们可以在 3D 图中可视化数据点。 小型数据集 dbpedia_samples.jsonl 是通过从 DBpedia 验证数据集中随机抽取 200 个样本来管理的。 1.加载数据集和查询嵌入 import pandas as pd samples pd.read_json("data/dbpe…

chatgpt赋能python:Python三维动画:探索计算机图形学创作的无限可能

Python三维动画&#xff1a;探索计算机图形学创作的无限可能 Python作为一种优雅且易于阅读的编程语言&#xff0c;一直以来都被广泛运用于各种不同的领域。其中之一便是计算机图形学&#xff0c;它是一门研究计算机生成图像、实现图像处理和图形学应用的学科。今天我们将重点…

chatgpt关于reprojectImageTo3D函数生成三维点云的解答

是这样的&#xff0c;有个同学有个图像用AD-Census算完视差&#xff0c;想借助视差图生成点云&#xff0c;找到的函数是reprojectImageTo3D。 我测试的时候图方便&#xff0c;将视差图直接用cv::imwrite保存成图片&#xff0c;用这个图片生成点云。免得每次都算一遍视差花好多…

chatgpt赋能python:Python的三维图绘制方法

Python的三维图绘制方法 介绍 Python是一种高级编程语言&#xff0c;也是一种免费且开源的通用编程语言。Python语言强大的模块化能力和包括Matplotlib在内的各种图形库让它成为一个非常受欢迎的数据科学工具。其中&#xff0c;Matplotlib是一种用于数据可视化的Python库&…

Scrum Master 面试题 – 你必须知道的22个Scrum基础知识

以下的22个问题基本上涵盖了Scrum所涉及的内容&#xff0c;如果你能够正确回答出所有问题&#xff0c;那么你已经具备了作为一名Scrum Master的基本素质&#xff1b;当然&#xff0c;作为一名合格的Scrum Master&#xff0c;更重要的是你的经验&#xff0c;因为Scrum Master更多…

UDP over Socks5 实现全局透明代理

Socks5代理协议很强大&#xff0c;不光可以实现HTTP/HTTPS代理的TCP隧道代理功能&#xff0c;类似connect&#xff0c;还可以实现HTTP代理不能做到的UDP代理功能。 要知道UDP代理的重要过程&#xff0c;以方便我们排查错误&#xff0c;我们还需要了解Socks5协议对UDP代理方式的…

Squid 代理服务之透明代理服务器架构搭建

文章目录 1. 服务器配置2. Squid 服务器部署2.1 修改 Squid 配置文件2.2 开启路由转发&#xff0c;实现本机中不同网段的地址转发2.3 修改防火墙规则 3. 客户端访问测试 1. 服务器配置 服务器主机名IP地址主要软件Squid 服务器squid_server外网ens33&#xff1a;192.168.10.20…

openwrt 透明代理上网

最近搞了个openwrt的router,以往都用代理来上网,但是代理每次都要设置端口啊,代理IP这些,觉得很心烦。现在好了,用openwrt搭建一个透明代理,让所有接上这个router的人都通过代理上网,还可以对他们监控和进行一些规则设定: ) 我的Local proxy是这样的,如图: 我的squi…

正向代理,反向代理和透明代理的原理和区别!

原创作品&#xff0c;允许转载&#xff0c;转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。 http://z00w00.blog.51cto.com/515114/1031287 套用古龙武侠小说套路来说&#xff0c;代理服务技术是一门很古老的技术&#xff0c;是在互联网早…

Linux开启路由转发功能(透明代理环境搭建)

环境&#xff1a; 客户端&#xff1a; 地址 -- 192.168.1.230 网关 -- 192.168.1.56 代理服务器&#xff1a; eth0 -- 192.168.1.56 eth1 -- 192.168.2.56 服务器&#xff1a; 地址 -- 192.168.2.230 网关 -- 192.168.2.56 要求…

Ubuntu编译运行Redsocks2实现透明代理

之前我写过一篇文章《WiFi热点分享ShadowSocks流量实现全局透明代理》里面详细解释了如何使用SSH(或Shadowsocks等其他socks5代理)redsocksiptables实现Ubuntu笔记本电脑分享一个Wifi&#xff0c;然后让所有连接这个wifi的客户端都实现透明代理&#xff08;科学上网&#xff09…