l> 我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版，欢迎购买。点击进入详情
文章目录
- 1.开发环境
- 2.第三方库
- 3.Scrapy css 语法
- 4.网页分析
- 5.xx.py
- 6.保存爬取的内容为csv文件
- 7.问题1："UnicodeDecodeError: 'utf-8' codec can't decode byte"
- 8.问题2：拒绝访问
- 9.问题3：csv文件中文乱码
- 10.效果
- 11.Github源码
关于Scrapy的用法，我们可以参考这篇文章：
[day4]python网络爬虫实战：爬取美女写真图片(Scrapy版)
1.开发环境
- IDE: PyCharm 2021.2.1 (Professional Edition)
- Python: 3.9.7
2.第三方库
- scrapy: 网络请求
- scrapy.css: 分析HTML特征
3.Scrapy css 语法
https://geek-docs.com/scrapy/scrapy-tutorials/scrapy-css-grammar.html
4.网页分析
用Chrome打开https://movie.xxx.com/top250，点击红圈中的箭头，然后鼠标滑过左边网页区域的时候，右边就会显示对应的HTML代码块。
5.xx.py
class xxSpider(scrapy.Spider):name = 'xx'allowed_domains = ['movie.xx.com']start_urls = ['https://movie.xx.com/top250']def parse(self, response):for movie in response.css('div.item'):item = xxItem()item['movie_name'] = movie.css('div.pic a img::attr(alt)').extract()yield item# 其它页next_page = response.css('span.next a::attr(href)').extract_first()if next_page:print('************* next_page = ' + next_page)yield Request(self.start_urls[0] + next_page, callback=self.parse)
6.保存爬取的内容为csv文件
start.py中的命令行我们修改为：
cmdline.execute("scrapy crawl xx-o data.csv".split())
7.问题1：“UnicodeDecodeError: ‘utf-8’ codec can’t decode byte”
需要在settings.py中设置：
ROBOTSTXT_OBEY = False
8.问题2：拒绝访问
需要在settings.py中设置：
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
9.问题3：csv文件中文乱码
需要在settings.py中设置：
FEED_EXPORT_ENCODING = 'utf-8-sig'
10.效果
11.Github源码
https://github.com/ddnosh/weekly-sample-python/tree/master/5.douban/douban
