活体检测（点头，摇头，张嘴等动态识别）

活体检测（点头，摇头，张嘴等动态识别）

在这里插入图片描述

某本书里有一句话，等我去读、去拍案。
田间的野老，等我去了解、去惊识。
山风与发，冷泉与舌，
流云与眼，松涛与耳，
他们等着，在神秘的时间的两端等着，
等着相遇的一刹——
一旦相遇，就不一样了，永远不一样了。
—— 张晓风 《我还有一片风景要完成》

背景说明

为什么会写这篇文章，在这里，向大家做一个解释，也作为一个开场白，供大家参考，知道这篇文章会涉及那些内容：

1.对于人脸识别打卡，存在照片打卡，没有活体检测

2.目前的活体检测服务售价高，造成开发成本

3.自主集成度低，不能随意的修改变化，响应业务需求

因此，在这里写下这篇文章，但是，由于活体检测的算法以及核心代码是一位github的技术大佬，在这里向前辈致敬！

Live_Detection https://github.com/echo1118/Live_Detection

代码实现

from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import argparse
import imutils
import time
import dlib
import cv2
import numpy as npdef eye_aspect_ratio(eye):# 计算眼睛的两组垂直关键点之间的欧式距离A = dist.euclidean(eye[1], eye[5])  # 1,5是一组垂直关键点B = dist.euclidean(eye[2], eye[4])  # 2,4是一组# 计算眼睛的一组水平关键点之间的欧式距离C = dist.euclidean(eye[0], eye[3])  # 0,3是一组水平关键点# 计算眼睛纵横比ear = (A + B) / (2.0 * C)# 返回眼睛纵横比return eardef mouth_aspect_ratio(mouth):# 默认二范数：求特征值，然后求最大特征值得算术平方根A = np.linalg.norm(mouth[2] - mouth[9])  # 51, 59（人脸68个关键点）B = np.linalg.norm(mouth[4] - mouth[7])  # 53, 57C = np.linalg.norm(mouth[0] - mouth[6])  # 49, 55mar = (A + B) / (2.0 * C)return mardef nose_jaw_distance(nose, jaw):# 计算鼻子上一点"27"到左右脸边界的欧式距离face_left1 = dist.euclidean(nose[0], jaw[0])  # 27, 0face_right1 = dist.euclidean(nose[0], jaw[16])  # 27, 16# 计算鼻子上一点"30"到左右脸边界的欧式距离face_left2 = dist.euclidean(nose[3], jaw[2])  # 30, 2face_right2 = dist.euclidean(nose[3], jaw[14])  # 30, 14# 创建元组，用以保存4个欧式距离值face_distance = (face_left1, face_right1, face_left2, face_right2)return face_distancedef eyebrow_jaw_distance(leftEyebrow, jaw):# 计算左眉毛上一点"24"到左右脸边界的欧式距离（镜像对称）eyebrow_left = dist.euclidean(leftEyebrow[2], jaw[0])  # 24, 0eyebrow_right = dist.euclidean(leftEyebrow[2], jaw[16])  # 24, 16# 计算左右脸边界之间的欧式距离left_right = dist.euclidean(jaw[0], jaw[16])  # 0, 16# 创建元组，用以保存3个欧式距离值eyebrow_distance = (eyebrow_left, eyebrow_right, left_right)return eyebrow_distance# 构造参数解析并解析参数
def Face_Recognize(file_path):EYE_AR_THRESH = 0.27  # 眨眼阈值EYE_AR_CONSEC_FRAMES =2  # 闭眼次数阈值# 张嘴阈值MAR_THRESH = 0.5# 初始化眨眼帧计数器和总眨眼次数COUNTER_EYE = 0TOTAL_EYE = 0# 初始化张嘴帧计数器和总张嘴次数COUNTER_MOUTH = 0TOTAL_MOUTH = 0# 初始化摇头帧计数器和摇头次数distance_left = 0distance_right = 0TOTAL_FACE = 0# 初始化点头帧计数器和点头次数nod_flag = 0TOTAL_NOD = 0# 初始化dlib的人脸检测器（基于HOG），然后创建面部界标预测器print("[Prepare000] 加载面部界标预测器...")# 表示脸部位置检测器detector = dlib.get_frontal_face_detector()# 表示脸部特征位置检测器predictor = dlib.shape_predictor("./static/shape_predictor_68_face_landmarks.dat")# 左右眼的索引(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"](rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]# 嘴唇的索引(mStart, mEnd) = face_utils.FACIAL_LANDMARKS_IDXS["mouth"]# 鼻子的索引(nStart, nEnd) = face_utils.FACIAL_LANDMARKS_IDXS["nose"]# 下巴的索引(jStart, jEnd) = face_utils.FACIAL_LANDMARKS_IDXS['jaw']# 左眉毛的索引(Eyebrow_Start, Eyebrow_End) = face_utils.FACIAL_LANDMARKS_IDXS['left_eyebrow']# 启动视频流线程print("[Prepare111] 启动视频流线程...")print("[Prompt information] 按Q键退出...")vs = FileVideoStream(file_path).start()fileStream = Truetime.sleep(1.0)# 循环播放视频流中的帧while True:# 如果这是一个文件视频流，那么我们需要检查缓冲区中是否还有更多的帧需要处理if fileStream and not vs.more():break# 从线程视频文件流中获取帧，调整大小并将其转换为灰度通道frame = vs.read()frame = imutils.resize(frame, width=600)gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 在灰度框中检测人脸rects = detector(gray, 0)# 循环人脸检测for rect in rects:shape = predictor(gray, rect)shape = face_utils.shape_to_np(shape)# 提取左眼和右眼坐标，然后使用该坐标计算两只眼睛的眼睛纵横比leftEye = shape[lStart:lEnd]rightEye = shape[rStart:rEnd]leftEAR = eye_aspect_ratio(leftEye)rightEAR = eye_aspect_ratio(rightEye)# 提取嘴唇坐标，然后使用该坐标计算嘴唇纵横比Mouth = shape[mStart:mEnd]mouthMAR = mouth_aspect_ratio(Mouth)# 提取鼻子和下巴的坐标，然后使用该坐标计算鼻子到左右脸边界的欧式距离nose = shape[nStart:nEnd]jaw = shape[jStart:jEnd]NOSE_JAW_Distance = nose_jaw_distance(nose, jaw)# 提取左眉毛的坐标，然后使用该坐标计算左眉毛到左右脸边界的欧式距离leftEyebrow = shape[Eyebrow_Start:Eyebrow_End]Eyebrow_JAW_Distance = eyebrow_jaw_distance(leftEyebrow, jaw)# 对左右两只眼睛的纵横比取平均值ear = (leftEAR + rightEAR) / 2.0# 移植嘴唇纵横比mar = mouthMAR# 移植鼻子到左右脸边界的欧式距离face_left1 = NOSE_JAW_Distance[0]face_right1 = NOSE_JAW_Distance[1]face_left2 = NOSE_JAW_Distance[2]face_right2 = NOSE_JAW_Distance[3]# 移植左眉毛到左右脸边界的欧式距离，及左右脸边界之间的欧式距离eyebrow_left = Eyebrow_JAW_Distance[0]eyebrow_right = Eyebrow_JAW_Distance[1]left_right = Eyebrow_JAW_Distance[2]# 判断眼睛纵横比是否低于眨眼阈值，如果是，则增加眨眼帧计数器if ear < EYE_AR_THRESH:COUNTER_EYE += 1# 否则，眼睛的纵横比不低于眨眼阈值else:# 如果闭上眼睛的次数足够多，则增加眨眼的总次数if COUNTER_EYE >= EYE_AR_CONSEC_FRAMES:TOTAL_EYE += 1# 重置眼框计数器COUNTER_EYE = 0# 判断嘴唇纵横比是否高于张嘴阈值，如果是，则增加张嘴帧计数器if mar > MAR_THRESH:COUNTER_MOUTH += 1# 否则，嘴唇的纵横比低于或等于张嘴阈值else:# 如果张嘴帧计数器不等于0，则增加张嘴的总次数if COUNTER_MOUTH != 0:TOTAL_MOUTH += 1COUNTER_MOUTH = 0# 根据鼻子到左右脸边界的欧式距离，判断是否摇头# 左脸大于右脸if face_left1 >= face_right1 + 2 and face_left2 >= face_right2 + 2:distance_left += 1# 右脸大于左脸if face_right1 >= face_left1 + 2 and face_right2 >= face_left2 + 2:distance_right += 1# 左脸大于右脸，并且右脸大于左脸，判定摇头if distance_left != 0 and distance_right != 0:TOTAL_FACE += 1distance_right = 0distance_left = 0# 两边之和是否小于或等于第三边+阈值，来判断是否点头# 根据左眉毛到左右脸边界的欧式距离与左右脸边界之间的欧式距离作比较，判断是否点头if eyebrow_left + eyebrow_right <= left_right + 3:nod_flag += 1if nod_flag != 0 and eyebrow_left + eyebrow_right >= left_right + 3:TOTAL_NOD += 1nod_flag = 0# 画出画框上眨眼的总次数以及计算出的帧的眼睛纵横比cv2.putText(frame, "Blinks: {}".format(TOTAL_EYE), (10, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 画出张嘴的总次数以及计算出的帧的嘴唇纵横比cv2.putText(frame, "Mouth is open: {}".format(TOTAL_MOUTH), (10, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 画出摇头次数cv2.putText(frame, "shake one's head: {}".format(TOTAL_FACE), (10, 90),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 画出点头次数cv2.putText(frame, "nod: {}".format(TOTAL_NOD), (10, 120),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 活体检测cv2.putText(frame, "Live detection: wink(5)", (300, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)if TOTAL_EYE >= 5:  # 眨眼五次cv2.putText(frame, "open your mouth(3)", (300, 60),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)if TOTAL_MOUTH >= 3:  # 张嘴三次cv2.putText(frame, "shake your head(2)", (300, 90),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)if TOTAL_FACE >= 2:  # 摇头两次cv2.putText(frame, "nod(2)", (300, 120),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)if TOTAL_NOD >= 2:  # 点头两次cv2.putText(frame, "Live detection: done", (300, 150),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)# 展示窗口cv2.imshow("Frame", frame)key = cv2.waitKey(1) & 0xFF# Q键退出if key == ord("q"):break# 撕毁窗口cv2.destroyAllWindows()vs.stop()

这段Python代码实现了一个基于计算机视觉的人脸动作识别系统，主要用于实时分析视频流中的人脸行为，如眨眼、张嘴、摇头和点头等动作。

  1. 导入必要的库：

    • scipy.spatial.distance用于计算两个点之间的欧氏距离。
    • imutils.video.FileVideoStream和imutils.video.VideoStream用于处理视频流。
    • imutils.face_utils包含一些方便的人脸特征点操作函数。
    • 其他库包括OpenCV (cv2)、NumPy (numpy) 和时间 (time) 等，用于图像处理和程序控制。

  2. 定义了几个辅助函数：

    • eye_aspect_ratio(eye)：计算眼睛的纵横比（EAR），这是评估眼睛是否闭合的关键指标。
    • mouth_aspect_ratio(mouth)：计算嘴巴的纵横比（MAR），用来判断嘴巴是否张开。
    • nose_jaw_distance(nose, jaw)：计算鼻子到左右脸颊边界的距离，用于估计头部运动。
    • eyebrow_jaw_distance(leftEyebrow, jaw)：计算眉毛到左右脸颊边界的距离，辅助判断点头动作。

  3. 主函数Face_Recognize(file_path)接收一个视频文件路径作为输入：

    • 设置了几个阈值变量，如眨眼、张嘴的阈值等。
    • 使用dlib库加载预训练的人脸检测器和面部特征预测器模型。
    • 获取人脸特征点的索引范围（例如眼睛、嘴巴、鼻子、下巴和眉毛）。

  4. 开启视频流，读取每一帧图像并执行以下步骤：

    • 对每帧图像进行灰度处理，并使用dlib检测人脸。
    • 遍历检测到的人脸，利用面部特征预测器提取68个特征点。
    • 计算眼睛和嘴巴的纵横比以及其他几何特征。
    • 根据预先设定的阈值，累计眨眼和张嘴的动作次数。
    • 利用鼻子和下巴的位置变化判断摇头动作。
    • 根据眉毛位置判断点头动作。

  5. 将检测到的动作次数实时显示在视频帧上，并通过键盘事件监听用户按键，当按下q时退出程序。

这就是主要方法，在原来的方法上进行了修改，取消了摄像头捕获视频，采用API接口调用传参，更加灵活！但是，对于传参方式以及效率问题，目前也是在进行思考，是否采用实时视频流进行传输还是怎么弄，目前没有确定，现在，我们这里就是给大家一个基础的核心解决方法！就是前端传递视频地址到后端，后端对于视频画像进行解析，以此进行活体判断，当然，必然存在不足，目前本人技术尚浅，后期再做深入！

API接口

import base64
from flask import Flask, request
import numpy as np
import cv2
import imutils
import dlib
from imutils import face_utilsimport DynamicRecognitionapp = Flask(__name__)@app.route('/process_video', methods=['GET'])
def process_video():# 从前端获取视频文件地址file_path = request.args.get('file_path')# 视频分析DynamicRecognition.Face_Recognize(file_path)# 返回处理后的结果（可以是JSON格式）return {"result": "Processed successfully"}if __name__ == '__main__':app.run(debug=True)

效果测试

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/273350.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

HTML 学习笔记(四)图片

HTML 学习笔记(四)图片

<!--通过图片标签"<img src "图片路径">"来调用图片在网页中进行显示--> <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthd…
阅读更多...
2024年目标检测研究进展

2024年目标检测研究进展

YOLOv9 图片来源网络 YOLO相关的研究&#xff1a;https://blog.csdn.net/yunxinan/article/details/103431338
阅读更多...
C++:vector底层剖析

C++:vector底层剖析

文章目录 前言成员变量成员函数vector ()size_t size()size_t capacity()iterator begin()和const_iterator begin()constiterator end()和const_iterator end()const~vector()void push_back(const&T val)vector<T>(const vector<T>& v)vector<T>&a…
阅读更多...
linux：线程的控制

linux：线程的控制

个人主页 &#xff1a; 个人主页 个人专栏 &#xff1a; 《数据结构》 《C语言》《C》《Linux》 文章目录 前言一、线程的总结1. 线程的优点2. 线程的缺点3. 线程异常4.线程和进程 二、线程的控制创建线程线程终止线程等待获取返回值 线程分离 总结 前言 本文作为我对于线程的…
阅读更多...
010Editor汉化版+下载+注册码+模板bug

010Editor汉化版+下载+注册码+模板bug

项目场景&#xff1a; 这天我想使用我的不知名的一个破解版本的010Edit来查看一个EXE程序&#xff0c;并想使用模板功能&#xff0c;但是发现没有该模板还无法下载最新模板 问题描述 010Edit联网后需要注册码&#xff1a; 010 Editor 激活码生成器 使用方法 参照教程使用0…
阅读更多...
HTML5+CSS3+移动web——CSS基础

HTML5+CSS3+移动web——CSS基础

系列文章目录 HTML5CSS3移动web——HTML 基础-CSDN博客https://blog.csdn.net/ymxk2876721452/article/details/136070953?spm1001.2014.3001.5501HTML5CSS3移动web——列表、表格、表单-CSDN博客https://blog.csdn.net/ymxk2876721452/article/details/136221443?spm1001.2…
阅读更多...
【框架学习 | 第三篇】Spring上篇（Spring入门、核心功能、Spring Bean——＞定义、作用域、生命周期、依赖注入）

【框架学习 | 第三篇】Spring上篇（Spring入门、核心功能、Spring Bean——＞定义、作用域、生命周期、依赖注入）

文章目录 1.Spring简述1.1什么是Spring框架&#xff1f;1.2Spring的核心功能1.2.1 IOC&#xff08;1&#xff09;IOC介绍&#xff08;2&#xff09;控制&#xff1f;反转&#xff1f; 1.2.2 AOP&#xff08;1&#xff09;AOP介绍&#xff08;2&#xff09;专业术语&#xff08;…
阅读更多...
docker学习笔记——Dockerfile

docker学习笔记——Dockerfile

Dockerfile是一个镜像描述文件&#xff0c;通过Dockerfile文件可以构建一个属于自己的镜像。 如何通过Dockerfile构建自己的镜像&#xff1a; 在指定位置创建一个Dockerfile文件&#xff0c;在文件中编写Dockerfile相关语法。 构建镜像&#xff0c;docker build -t aa:1.0 .(指…
阅读更多...
Oracle SQL优化（读懂执行计划 一）

Oracle SQL优化（读懂执行计划 一）

目录 SQL执行计划的作用示例演示执行计划概念介绍执行计划实例DISPLAY_CURSOR 类型DISPLAY_AWR 类型 指标详解 SQL执行计划的作用 示例演示 执行计划概念介绍 执行计划实例 DISPLAY_CURSOR 类型 DISPLAY_AWR 类型 指标详解
阅读更多...
云服务器99元1年选腾讯云还是阿里云？站长测评

云服务器99元1年选腾讯云还是阿里云？站长测评

99元一年云服务器可以选择阿里云或腾讯云&#xff0c;选择阿里云99元服务器还是腾讯云99元服务器&#xff1f;价格相同&#xff0c;阿腾云建议选择阿里云99元服务器&#xff0c;原因有二&#xff0c;阿里云99元服务器是ECS&#xff0c;腾讯云99元服务器是轻量应用服务器&#x…
阅读更多...
qt练习案例

qt练习案例

记录一下qt练习案例&#xff0c;方便学习qt知识点 基本部件 案例1 需求&#xff0c;做一个标签&#xff0c;显示"你好"知识点&#xff0c;QLabel画面 4. 参考&#xff0c;Qt 之 QLabel 案例2 需求&#xff0c;做一个标签&#xff0c;显示图片 知识点&#xff0c;…
阅读更多...
【JavaSE】抽象类与接口

【JavaSE】抽象类与接口

Object 类 类 java.lang.Object是类层次结构的根类&#xff0c;即所有类的父类。 除Object类之外的任何一个Java类&#xff0c;全部直接或间接的继承于Object类。由此&#xff0c;Object类也被称为根父类。Object类中声明的成员具有通用性&#xff0c;并且Object类中没有声明…
阅读更多...
Leetcode 59.螺旋矩阵Ⅱ

Leetcode 59.螺旋矩阵Ⅱ

1.题目 2.思路 &#xff08;借用代码随想录的图&#xff09; 1.我们将转一圈看作一个循环&#xff08;1->2->3->4->5->6->7->8 这是一个循环&#xff09; 2.在这个循环里&#xff0c;我们要画四条边&#xff08;上右下左&#xff09; 填充上行从左到右 填…
阅读更多...
Java对接腾讯云直播示例

Java对接腾讯云直播示例

首先是官网的文档地址 云直播 新手指南 可以发现它这个主要是按流量和功能收费的 价格总览 流量这里还只收下行的费用&#xff0c;就是只收观看消耗的流量费 其它的收费就是一些增值业务费 &#xff08;包括直播转码、直播录制、直播截图、直播审核、智能鉴黄、实时监播、移动直…
阅读更多...
04-ESP32S3-GPIO

04-ESP32S3-GPIO

ESP32S3-IDF GPIO GPIO简介 ESP32S3提供了多达45个物理GPIO管脚&#xff0c;这些管脚不仅可以作为通用的输入输出接口&#xff0c;还可以连接到内部外设信号。通过GPIO交换矩阵、IO MUX和RTC IO MUX&#xff0c;可以灵活地配置外设模块的输入信号来源于任何GPIO管脚&#xff0…
阅读更多...
空间复杂度（数据结构）

空间复杂度（数据结构）

概念&#xff1a; 空间复杂度也是一个数学表达式&#xff0c;是对一个算法在运行过程中临时占用存储空间大小的量度 。 空间复杂度不是程序占用了多少bytes的空间&#xff0c;因为这个也没太大意义&#xff0c;所以空间复杂度算的是变量的个数。空间复杂度计算规则基本跟实践复…
阅读更多...
【性能测试】性能测试各知识第1篇：性能测试大纲【附代码文档】

【性能测试】性能测试各知识第1篇：性能测试大纲【附代码文档】

性能测试完整教程&#xff08;附代码资料&#xff09;主要内容讲述&#xff1a;性能测试大纲。。。。。。。。。。。。。。 全套笔记资料代码移步&#xff1a; 前往gitee仓库查看 感兴趣的小伙伴可以自取哦&#xff0c;欢迎大家点赞转发~ 性能测试大纲 |序号|阶段|概述| |--…
阅读更多...
【MATLAB第100期】基于MATLAB的多种改进拉丁超立方LHS数据抽样方法

【MATLAB第100期】基于MATLAB的多种改进拉丁超立方LHS数据抽样方法

【MATLAB第100期】基于MATLAB的多种改进拉丁超立方LHS数据抽样方法 一、LHS种类 1、LHS 使用随机搜索生成拉丁超立方体样本。LHS函数特别适用于非常大的设计&#xff0c;当本机MATLAB函数内存不足时。这可能取决于MATLAB版本和所用机器的配置。当尝试运行“lhsdesign”但未成…
阅读更多...
springboot实现国际化

springboot实现国际化

引言 今天在开发过程中&#xff0c;遇到国外客户&#xff0c;要求项目一些返回msg中&#xff0c;不能再有中文&#xff0c;于是便有了国际化需求。 How to do 1.在项目resources下创建i18n文件夹以及messages.properties文件 messages.properties 国际化主文件 phoneErr.ms…
阅读更多...
Guiding Large Language Models viaDirectional Stimulus Prompting

Guiding Large Language Models viaDirectional Stimulus Prompting

1. 通过定向刺激提示指导大语言模型 论文地址&#xff1a;[2302.11520] Guiding Large Language Models via Directional Stimulus Prompting (arxiv.org) 源码地址&#xff1a;GitHub - Leezekun/Directional-Stimulus-Prompting: [NeurIPS 2023] Codebase for the paper: &qu…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023