进入界面,右键打开检测,选择网络
然后网页滚动条拉倒最下面使其刷出新的数据,然后查看数据包
编写代码
import requests
import jsonif __name__ == '__main__':get_url = 'https://movie.douban.com/j/chart/top_list'headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'}data = {'type':'24','interval_id':'100:90','action':'','start':'1','limit':'20'}response = requests.post(url=get_url,data=data,headers=headers)# json 返回的是一个对象(如果确认响应数据是json类型的才可以使用)dic_obj = response.json()# file_name = word + '.json'fp = open('./movice.json','w',encoding='utf-8')json.dump(dic_obj,fp=fp,ensure_ascii=False)
参数中的 'start':'1' , 'limit':'20' 分别表示起始数据、每次刷新的数据条数,第一个电影应该是 0 开始,这里写 1 表示从第二个开始爬
运行结果: