人脸识别系统架构

1. 系统架构

1.1 采集子系统

1.2 解析子系统

1.3 存储子系统

1.4 比对子系统

1.5 决策子系统

1.6 管理子系统

1.7 应用开放接口

2. 业务流程

2.1 人脸注册

2.2 人脸验证

2.2.1 作用

2.2.2 特点

2.2.3 应用场景

2.3 人脸辨识

2.3.1 作用

2.3.2 特点

2.3.3 应用场景

3. 技术方案

3.1 本地离线方案

3.2 云端服务方案

4. 技术局限

4.1 相似脸较难解决

4.2 算法偏见问题

4.3 算法鲁棒性及性能问题

4.4 年龄变化的影响

4.5 安全性问题

4.6 工程落地问题

1. 系统架构

《GB∕T 41772-2022 信息技术生物特征识别人脸识别系统技术要求》定义人脸识别系统由采集子系统、解析子系统、存储子系统、比对子系统、决策子系统、管理子系统以及应用开放接口等组成，其系统架构下图所示。

1.1 采集子系统

用于人脸图像或视频的采集，包括人脸采集设备以及执行人脸采集过程所需的任何子过程。

1.2 解析子系统

用于人脸图像或视频的处理，包括人脸检测、质量判断、特征提取、人脸跟踪、属性检测、活体检测等。

1.3 存储子系统

用于人脸注册数据及实时采集数据的存储，包括：

人脸注册数据库：用于注册数据的存储。
实时采集数据库：用于采集数据的存储。

1.4 比对子系统

包括两种模式：

人脸验证模式：现场人脸与指定的存储人脸进行比对（1:1比对），输出一个相似度得分；
人脸辨识模式：现场人脸与部分或全部的存储人脸进行比对（1:N比对），输出多个相似度得分，并根据相似度得分进行排序。

1.5 决策子系统

根据一个或多个相似度得分，对人脸识别提供决策结果，包括两种模式：

人脸验证模式：当相似度得分超过指定的阈值时，现场人脸和存储人脸匹配；
人脸辨识模式：当相似度得分超过指定的阈值时，对应的存储人脸构成了与现场人脸匹配的潜在候选者。

1.6 管理子系统

管理人脸识别系统的总体策略、执行和应用，包括但不限于：

设置阈值：例如样本质量阈值，相似度阈值，活体检测阈值等；
日志管理：日志生成、查询和导出等；
权限管理：设置不同角色的操作权限等；
接口配置：配置人脸识别系统的视图采集子系统等；
用户管理：存储或删除用户的人脸等注册信息；
其他管理：控制工作环境和非生物特征数据的存储、在视图采集时或采集后向用户提供反馈信息、与人脸识别应用进行交互管理等。

1.7 应用开放接口

人脸识别系统与人脸识别应用之间的接口，包括人脸注册接口、人脸验证接口、人脸辨识接口、活体检测接口等。

2. 业务流程

人脸识别系统的核心业务流程包括人脸注册、人脸验证、人脸辨识等。

2.1 人脸注册

启动人脸注册过程；
根据人脸注册策略，采集用户数据，例如用户基本信息、人脸图像等；
解析子系统对采集的视图进行解析，例如质量判断和活体检测等；
将该用户的数据记录存储在人脸注册数据库；
结束注册过程，记录日志。

2.2 人脸验证

启动人脸验证过程；
读取身份证件中的人脸信息；
采集人脸图像或视频；
将现场人脸与身份证件中的人脸进行比对；
依据系统策略及相似度得分，对人脸验证提供决策结果；
将决策结果传输到人脸验证应用；
结束验证过程，记录日志。

2.2.1 作用

证明你是你。

2.2.2 特点

匹配的特征集少
检验准确率稳定
依赖身份证件（身份证、护照、会员卡等）验证身份

2.2.3 应用场景

适用于车站、机场、大型活动、机关单位、银行、酒店、网吧等人员流动频繁场所或其它重点场所中，以及线上开户，进出人员身份验证，核查人员真实身份。。

2.3 人脸辨识

启动人脸辨识过程；
采集人脸图像或视频；
将现场人脸与一个或多个存储人脸进行比对；
依据系统策略及相似度得分，对人脸辨识提供决策结果；
将决策结果传输到人脸辨识应用；
结束辨识过程，记录日志。

2.3.1 作用

辨识你是谁。

2.3.2 特点

不依赖身份证件信息（身份证、护照、会员卡等）
误识率会随着人脸底库的增加而升高

2.3.3 应用场景

适用于社区、楼宇、工地、学校等较大规模的人脸考勤签到、人脸通行等应用场景，人脸注册到底库，检测到人脸后从人脸底库中检索出谁是谁。

3. 技术方案

3.1 本地离线方案

3.2 云端服务方案

设备端负责数据采集，服务端负责人脸识别，根据不同的应用场景，有三种不同的实施方案如下：

4. 技术局限

人脸识别技术由于相似脸、年龄、算法偏见、面临的场景多样化以及人脸图像更易公开获取等原因，技术本身也面临着一定的局限性。

4.1 相似脸较难解决

双胞胎或者长相很相近的人脸容易识别错误，而该问题在目前暂时没有新技术能完全解决。大部分情况下双胞胎仍能区分分数高低，但是往往都在阈值之上，在开放环境下应用效果较差。

4.2 算法偏见问题

由于当前人脸识别算法很大程度依赖于数据样本，但是不同人群的人脸数据样本存在差别，这导致了算法对不同地域、不同年龄人群的识别能力有差别。比如，小孩子，老年人以及其他很少出现的人种或者肤色的人脸识别率相对较低，该问题亟需解决。

4.3 算法鲁棒性及性能问题

现有的人脸识别系统在用户配合、采集条件比较理想的情况下可以取得令人满意的结果。但是，在用户不配合、采集条件不理想的情况下，比如非限制条件下捕捉的人脸图像，远距离多姿态低像素拍摄的人脸图像，动态视频、模糊、低质量的人脸图像，会影响现有系统的识别率。另外戴口罩情况下大部分算法的错误率会提高 1 个数量级以上。