-
大规模亚洲人脸数据的制作
在这次大规模亚洲人脸数据制作主要是亚洲明星人脸数据集，此次我爬取了大概20万张亚洲人脸图像，可以修改爬取每位明星图片的数量来获取更多的图片，过程中主要分以下几步：
-
获取明星名字列表
（1）、首先从百度搜索栏中搜索“明星”，显示出明星栏目，地区包括内地、香港、台湾、韩国和日本，如下图：
（2）、使用python爬虫将这些明星的名字爬取下来，代码如下所示：
import os
import time
import json
import requestsdef getManyPages(pages):params=[]for i in range(0, 12*pages+12, 12):params.append({'resource_id': 28266,'from_mid': 1,'format': 'json','ie': 'utf-8','oe': 'utf-8','query': '台湾明星','sort_key': '','sort_type': 1,'stat0': '','stat1': '台湾','stat2': '','stat3': '','pn': i,'rn': 12})url = 'https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php'
# names = []
# img_results = []x = 0f = open('starName.txt', 'w')for param in params:try:res = requests.get(url, params=param)js = json.loads(res.text)results = js.get('data')[0].get('result')except AttributeError as e:print(e)continuefor result in results:img_name = result['ename']
# img_url = result['pic_4n_78']
# img_result = [img_name,img_url]
# img_results.append(img_result)f.write(img_name+'\n')# names.append(img_name)if x % 10 == 0:print('第%d页......'%x)x += 1f.close()if __name__ == '__main__':getManyPages(400)这里需要注意：params里的‘query’：‘台湾明星’；‘start1’：‘台湾’，对应台湾地区的明星，修改这两个值可以获得‘内地’、‘香港’、‘韩国’等地区的明星。从图一可以看出，每页有12位明星，getManyPages(400)是获取400页的明星名单结果，也就是12*400=4800位明星名单，通过修改获取页码值来获取更多明星的名单，将获取的明星名单保存成文本文件，在后续操作中将会用到，同时也能避免代码终止又要重新爬取。
-
根据名单列表爬取明星图片
这里我将使用开源的网络爬虫来爬取明星图片，需要导入icrawler库，对该库的详细介绍，读者可以自己百度；由于一些小明星的照片在百度上有可能搜不到，并且百度上照片有时会很杂，所以这里我将在Bing搜索上爬取明星人脸图片，代码如下：
import os
from icrawler.builtin import BingImageCrawler
path = r'E:\weather_test\BingImage'
f = open('KoreaStarName.txt', 'r')
lines = f.readlines()
for i, line in enumerate(lines):name = line.strip('\n')file_path = os.path.join(path, name)if not os.path.exists(file_path):os.makedirs(file_path)bing_storage = {'root_dir': file_path}bing_crawler = BingImageCrawler(parser_threads=2, downloader_threads=4, storage=bing_storage)bing_crawler.crawl(keyword=name, max_num=10)print('第{}位明星：{}'.format(i, name))其中，path为将要保存爬取的明星图片的路径，可以.txt文件为上一步爬取的明星名单文件，通过修改
bing_crawler.crawl()中的max_num的值来改变爬取每位明星的图像数目。
-
对爬取的明星图片做粗略清洗
这里主要针对非人脸图像的清洗，由于爬取的图像里有可能出现非人像图片，需要对它进行删除，通过对图像人脸判断来确认是否包含人脸图像，代码如下：
其中，使用face_recognition库检测图像上是否有人脸，该库在windows上的安装比较麻烦，读者可以百度，有详细的windows安装教程，同时也使用了一些容错代码，避免出现错误，代码运行中断。path为爬取明星图片的文件目录，new_path为清洗后保存到的人脸图像目录。
import os
import face_recognition
from PIL import Image
from PIL import ImageFile
import threading
ImageFile.LOAD_TRUNCATED_IMAGES = Truedef process_img(path, new_path):dirs = os.listdir(path)for pic_dir in dirs:print(pic_dir)dir_path = os.path.join(path, pic_dir)pics = os.listdir(dir_path)for pic in pics:pic_path = os.path.join(dir_path, pic)image = face_recognition.load_image_file(pic_path)face_locations = face_recognition.face_locations(image)if len(face_locations) == 0:continueimg = Image.open(pic_path)new_pic_path = os.path.join(new_path, pic_dir)if not os.path.exists(new_pic_path):os.makedirs(new_pic_path)if len(img.split()) == 4:# 利用split和merge将通道从四个转换为三个r, g, b, a = img.split()toimg = Image.merge("RGB", (r, g, b))toimg.save(new_pic_path + '\\' + pic)else:try:img.save(new_pic_path + '\\' + pic)except:continueprint('Finish......!')def lock_test(path, new_path):mu = threading.Lock()if mu.acquire(True):process_img(path, new_path)mu.release()if __name__ == '__main__':paths = [r'E:\weather_test\亚洲人脸4_1', r'E:\weather_test\亚洲人脸4_2', r'E:\weather_test\亚洲人脸4_3',r'E:\weather_test\亚洲人脸4_4', r'E:\weather_test\亚洲人脸4_5', r'E:\weather_test\亚洲人脸4_6']new_paths = [r'E:\weather_test\4_1', r'E:\weather_test\4_2', r'E:\weather_test\4_3', r'E:\weather_test\4_4',r'E:\weather_test\4_5', r'E:\weather_test\4_6']for i in range(len(paths)):my_thread = threading.Thread(target=lock_test, args=(paths[i], new_paths[i]))my_thread.start()
