爬虫实战爬取谷歌图片 Google images

目标

#date：2020.5.25
#author:pmy
#aim:爬取google图片
本次爬取主要是为了练习selenium。

分析

爬取的目标如下图，爬取猫猫图片
在这里插入图片描述
将google图片顺利爬下来。
由于google图片界面是属于那种往下划会在本页面中加载出更多信息，但未刷新的机制，但是它又并未使用ajax。
所以这里我们使用selenium。selenium是一个能够模拟浏览器的工具，如果你没有安装，请pip install 一下。
然后是下载符合你的浏览器的驱动，我这里用的是Chrome，所以下载了ChromeDriver，将其放在D:\python\Scripts（你的python安装目录）。
用这两个来模拟用户的浏览器操作。

每次往下滑动500个单位，然后将当前窗口的所有图片的url抓取出来。
这里直接用selenium将tag_name为img的抓取出来就好了。
虽然可以先返回html文档，再用beautifulsoup来处理，但是这样繁琐，没有必要。同时因为该网页结构比较清晰，基本tag_name为img的就是我们的目标。

也存在一些问题，最前面几张图会抓取不了，因为它们的url并不是图片，而是打开是下图的界面
在这里插入图片描述
这和下面的所有图片不一样，下面的所有图片都是打开只有图片，这最前面的几张的url也特别特别长，无法下载图片，所以计算字符串的长度将其过滤。

同时，会将google的图标也抓下来。通过分析其他正常图片的url，发现其共性是其中都有images字符串，所以通过有无这个字符串来过滤。

因为每次抓取的图片只是当前窗口上显示的图片（selenium的特点），所以我们要设置一个列表，将抓取的url放进去，每次抓取时与列表进行比对，从而避免了重复爬取，不过效率偏低，不过用python还管啥效率（代码中写了可以修改的地方，我懒得改了，生命短暂）

因为对python其实也没怎么正式学过，所以这次用了面向对象的模式来写的代码，面向对象还是依然好用，下次需要的话可以直接调这个包。

完整代码

#date：2020.5.25
#author:pmy
#aim:爬取google图片from selenium import webdriver
import time
import os
import requests# 使用代理的方法 ，可以直接windows使用代理，不用这么麻烦
# browserOptions = webdriver.ChromeOptions()
# browserOptions.add_argument('--proxy-server=ip:port)
# browser = webdriver.Chrome(chrome_options=browserOptions)#修改keyword便可以修改搜索关键词
keyword = 'cat'
url = 'https://www.google.com.hk/search?q='+keyword+'&tbm=isch'class Crawler_google_images:# 初始化def __init__(self):self.url = url# 获得Chrome驱动，并访问urldef init_browser(self):chrome_options = webdriver.ChromeOptions()chrome_options.add_argument("--disable-infobars")browser = webdriver.Chrome(chrome_options=chrome_options)# 访问urlbrowser.get(self.url)# 最大化窗口，之后需要爬取窗口中所见的所有图片browser.maximize_window()return browser#下载图片def download_images(self, browser,round=2):picpath = './cat'# 路径不存在时创建一个if not os.path.exists(picpath): os.makedirs(picpath)# 记录下载过的图片地址，避免重复下载img_url_dic = []count = 0 #图片序号pos = 0for i in range(round):pos += 500# 向下滑动js = 'var q=document.documentElement.scrollTop=' + str(pos)browser.execute_script(js)time.sleep(1)# 找到图片# html = browser.page_source#也可以抓取当前页面的html文本，然后用beautifulsoup来抓取#直接通过tag_name来抓取是最简单的，比较方便img_elements = browser.find_elements_by_tag_name('img')#遍历抓到的webElementfor img_element in img_elements:img_url = img_element.get_attribute('src')# 前几个图片的url太长，不是图片的url，先过滤掉，爬后面的if isinstance(img_url, str):if len(img_url) <= 200:#将干扰的goole图标筛去if 'images' in img_url:#判断是否已经爬过，因为每次爬取当前窗口，或许会重复#实际上这里可以修改一下，将列表只存储上一次的url，这样可以节省开销，不过我懒得写了···if img_url not in img_url_dic:try:img_url_dic.append(img_url)#下载并保存图片到当前目录下filename = "./cat/" + str(count) + ".jpg"r = requests.get(img_url)with open(filename, 'wb') as f:f.write(r.content)f.close()count += 1print('this is '+str(count)+'st img')#防止反爬机制time.sleep(0.2)except:print('failure')def run(self):self.__init__()browser = self.init_browser()self.download_images(browser,10)#可以修改爬取的页面数，基本10页是100多张图片browser.close()print("爬取完成")if __name__ == '__main__':craw = Crawler_google_images()craw.run()