大规模亚洲人脸数据的制作
原文：https://blog.csdn.net/Alvin_FZW/article/details/82146800
在这次大规模亚洲人脸数据制作主要是亚洲明星人脸数据集，此次我爬取了大概20万张亚洲人脸图像，可以修改爬取每位明星图片的数量来获取更多的图片，过程中主要分以下几步：
（1）、首先从百度搜索栏中搜索“明星”，显示出明星栏目，地区包括内地、香港、台湾、韩国和日本，如下图：
（2）、使用python爬虫将这些明星的名字爬取下来，代码如下所示：
import osimport timeimport jsonimport requestsdef getManyPages(pages):params=[]for i in range(0, 12*pages+12, 12):params.append({'resource_id': 28266,'from_mid': 1,'format': 'json','ie': 'utf-8','oe': 'utf-8','query': '台湾明星','sort_key': '','sort_type': 1,'stat0': '','stat1': '台湾','stat2': '','stat3': '','pn': i,'rn': 12})url = 'https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php'# names = []# img_results = []x = 0f = open('starName.txt', 'w')for param in params:try:res = requests.get(url, params=param)js = json.loads(res.text)results = js.get('data')[0].get('result')except AttributeError as e:print(e)continuefor result in results:img_name = result['ename']# img_url = result['pic_4n_78']# img_result = [img_name,img_url]# img_results.append(img_result)f.write(img_name+'\n')# names.append(img_name)if x % 10 == 0:print('第%d页......'%x)x += 1f.close()if __name__ == '__main__':getManyPages(400)这里需要注意：params里的‘query’：‘台湾明星’；‘start1’：‘台湾’，对应台湾地区的明星，修改这两个值可以获得‘内地’、‘香港’、‘韩国’等地区的明星。从图一可以看出，每页有12位明星，getManyPages(400)是获取400页的明星名单结果，也就是12*400=4800位明星名单，通过修改获取页码值来获取更多明星的名单，将获取的明星名单保存成文本文件，在后续操作中将会用到，同时也能避免代码终止又要重新爬取。
这里我将使用开源的网络爬虫来爬取明星图片，需要导入icrawler库，对该库的详细介绍，读者可以自己百度；由于一些小明星的照片在百度上有可能搜不到，并且百度上照片有时会很杂，所以这里我将在Bing搜索上爬取明星人脸图片，代码如下：
import osfrom icrawler.builtin import BingImageCrawlerpath = r'BingImage'f = open('starName.txt', 'r')lines = f.readlines()for i, line in enumerate(lines):name = line.strip('\n')file_path = os.path.join(path, name)if not os.path.exists(file_path):os.makedirs(file_path)bing_storage = {'root_dir': file_path}bing_crawler = BingImageCrawler(parser_threads=2, downloader_threads=4, storage=bing_storage)bing_crawler.crawl(keyword=name, max_num=10)print('第{}位明星：{}'.format(i, name))其中，path为将要保存爬取的明星图片的路径，可以.txt文件为上一步爬取的明星名单文件，通过修改
bing_crawler.crawl()中的max_num的值来改变爬取每位明星的图像数目。
这里主要针对非人脸图像的清洗，由于爬取的图像里有可能出现非人像图片，需要对它进行删除，通过对图像人脸判断来确认是否包含人脸图像，代码如下：
其中，使用face_recognition库检测图像上是否有人脸，该库在windows上的安装比较麻烦，读者可以百度，有详细的windows安装教程，同时也使用了一些容错代码，避免出现错误，代码运行中断。path为爬取明星图片的文件目录，new_path为清洗后保存到的人脸图像目录。
-
import os -
import face_recognition -
from PIL import Image -
from PIL import ImageFile -
import threading -
ImageFile.LOAD_TRUNCATED_IMAGES = True -
def process_img(path, new_path): -
dirs = os.listdir(path) -
for pic_dir in dirs: -
print(pic_dir) -
dir_path = os.path.join(path, pic_dir) -
pics = os.listdir(dir_path) -
for pic in pics: -
pic_path = os.path.join(dir_path, pic) -
image = face_recognition.load_image_file(pic_path) -
face_locations = face_recognition.face_locations(image) -
if len(face_locations) == 0: -
continue -
img = Image.open(pic_path) -
new_pic_path = os.path.join(new_path, pic_dir) -
if not os.path.exists(new_pic_path): -
os.makedirs(new_pic_path) -
if len(img.split()) == 4: -
# 利用split和merge将通道从四个转换为三个 -
r, g, b, a = img.split() -
toimg = Image.merge("RGB", (r, g, b)) -
toimg.save(new_pic_path + '\\' + pic) -
else: -
try: -
img.save(new_pic_path + '\\' + pic) -
except: -
continue -
print('Finish......!') -
def lock_test(path, new_path): -
mu = threading.Lock() -
if mu.acquire(True): -
process_img(path, new_path) -
mu.release() -
if __name__ == '__main__': -
paths = [r'E:\weather_test\亚洲人脸4_1', r'E:\weather_test\亚洲人脸4_2', r'E:\weather_test\亚洲人脸4_3', -
r'E:\weather_test\亚洲人脸4_4', r'E:\weather_test\亚洲人脸4_5', r'E:\weather_test\亚洲人脸4_6'] -
new_paths = [r'E:\weather_test\4_1', r'E:\weather_test\4_2', r'E:\weather_test\4_3', r'E:\weather_test\4_4', -
r'E:\weather_test\4_5', r'E:\weather_test\4_6'] -
for i in range(len(paths)): -
my_thread = threading.Thread(target=lock_test, args=(paths[i], new_paths[i])) -
my_thread.start()
