【python】OpenCV—Tracking(10.4)—Centroid

在这里插入图片描述

文章目录

  • 1、任务描述
  • 2、人脸检测模型
  • 3、完整代码
  • 4、结果展示
  • 5、涉及到的库函数
  • 6、参考

1、任务描述

基于质心实现多目标(以人脸为例)跟踪

人脸检测采用深度学习的方法

核心步骤:

步骤#1:接受边界框坐标并计算质心
步骤#2:计算新边界框和现有对象之间的欧几里得距离
步骤 #3:更新现有对象的 (x, y) 坐标
步骤#4:注册新对象
步骤#5:注销旧对象
当旧对象无法与任何现有对象匹配总共 N 个后续帧时,我们将取消注册。

2、人脸检测模型

在这里插入图片描述

输入 1x3x300x300

在这里插入图片描述
resnet + ssd,分支还是挺多的

3、完整代码

质心跟踪代码

# import the necessary packages
from scipy.spatial import distance as dist
from collections import OrderedDict
import numpy as npclass CentroidTracker():def __init__(self, maxDisappeared=65):# initialize the next unique object ID along with two ordered# dictionaries used to keep track of mapping a given object# ID to its centroid and number of consecutive frames it has# been marked as "disappeared", respectivelyself.nextObjectID = 0# 用于为每个对象分配唯一 ID 的计数器。如果对象离开帧并且在 maxDisappeared 帧中没有返回,则将分配一个新的(下一个)对象 ID。self.objects = OrderedDict()# 对象 ID 作为键,质心 (x, y) 坐标作为值的字典self.disappeared = OrderedDict()# 保存特定对象 ID(键)已被标记为“丢失”的连续帧数(值)# store the number of maximum consecutive frames a given# object is allowed to be marked as "disappeared" until we# need to deregister the object from trackingself.maxDisappeared = maxDisappeared# 在我们取消注册该对象之前,允许将对象标记为“丢失/消失”的连续帧数。def register(self, centroid):# when registering an object we use the next available object# ID to store the centroid# 注册新的 idself.objects[self.nextObjectID] = centroidself.disappeared[self.nextObjectID] = 0self.nextObjectID += 1def deregister(self, objectID):# to deregister an object ID we delete the object ID from# both of our respective dictionaries# 注销掉 iddel self.objects[objectID]del self.disappeared[objectID]def update(self, rects):# check to see if the list of input bounding box rectangles# is empty# rects = (startX, startY, endX, endY)if len(rects) == 0: # 没有检测到目标# loop over any existing tracked objects and mark them# as disappeared# 我们将遍历所有对象 ID 并增加它们的disappeared计数for objectID in list(self.disappeared.keys()):self.disappeared[objectID] += 1# if we have reached a maximum number of consecutive# frames where a given object has been marked as# missing, deregister itif self.disappeared[objectID] > self.maxDisappeared:self.deregister(objectID)# return early as there are no centroids or tracking info# to updatereturn self.objects# initialize an array of input centroids for the current frameinputCentroids = np.zeros((len(rects), 2), dtype="int")# loop over the bounding box rectanglesfor (i, (startX, startY, endX, endY)) in enumerate(rects):# use the bounding box coordinates to derive the centroidcX = int((startX + endX) / 2.0)  # 检测框中心横坐标cY = int((startY + endY) / 2.0)  # 检测框中心纵坐标inputCentroids[i] = (cX, cY)# if we are currently not tracking any objects take the input# centroids and register each of them# 如果当前没有我们正在跟踪的对象,我们将注册每个新对象if len(self.objects) == 0:for i in range(0, len(inputCentroids)):self.register(inputCentroids[i])# otherwise, are are currently tracking objects so we need to# try to match the input centroids to existing object# centroidselse:# grab the set of object IDs and corresponding centroidsobjectIDs = list(self.objects.keys())objectCentroids = list(self.objects.values())# compute the distance between each pair of object# centroids and input centroids, respectively -- our# goal will be to match an input centroid to an existing# object centroidD = dist.cdist(np.array(objectCentroids), inputCentroids)# in order to perform this matching we must (1) find the# smallest value in each row and then (2) sort the row# indexes based on their minimum values so that the row# with the smallest value as at the *front* of the index# listrows = D.min(axis=1).argsort()# next, we perform a similar process on the columns by# finding the smallest value in each column and then# sorting using the previously computed row index listcols = D.argmin(axis=1)[rows]# in order to determine if we need to update, register,# or deregister an object we need to keep track of which# of the rows and column indexes we have already examinedusedRows = set()usedCols = set()# loop over the combination of the (row, column) index# tuplesfor (row, col) in zip(rows, cols):# if we have already examined either the row or# column value before, ignore it# val# 老目标被选中过或者新目标被选中过if row in usedRows or col in usedCols:continue# otherwise, grab the object ID for the current row,# set its new centroid, and reset the disappeared# counterobjectID = objectIDs[row]  # 老目标 idself.objects[objectID] = inputCentroids[col]  # 更新老目标 id 的质心为新目标的质心,因为两者距离最近self.disappeared[objectID] = 0  # 丢失索引重置为 0# indicate that we have examined each of the row and# column indexes, respectivelyusedRows.add(row)usedCols.add(col)# compute both the row and column index we have NOT yet# examinedunusedRows = set(range(0, D.shape[0])).difference(usedRows)unusedCols = set(range(0, D.shape[1])).difference(usedCols)# in the event that the number of object centroids is# equal or greater than the number of input centroids# we need to check and see if some of these objects have# potentially disappeared# 如果老目标不少于新目标if D.shape[0] >= D.shape[1]:# loop over the unused row indexesfor row in unusedRows:# grab the object ID for the corresponding row# index and increment the disappeared counterobjectID = objectIDs[row]  # 老目标 idself.disappeared[objectID] += 1  # 跟踪帧数 +1# check to see if the number of consecutive# frames the object has been marked "disappeared"# for warrants deregistering the object# 检查disappeared计数是否超过 maxDisappeared 阈值,如果是,我们将注销该对象if self.disappeared[objectID] > self.maxDisappeared:self.deregister(objectID)# otherwise, if the number of input centroids is greater# than the number of existing object centroids we need to# register each new input centroid as a trackable objectelse:  # 新目标多于老目标for col in unusedCols:self.register(inputCentroids[col])  # 注册新目标# return the set of trackable objectsreturn self.objects

self.nextObjectID = 0用于为每个对象分配唯一 ID 的计数器。如果对象离开帧并且在 maxDisappeared 帧中没有返回,则将分配一个新的(下一个)对象 ID。

self.objects = OrderedDict() 对象 ID 作为键,质心 (x, y) 坐标作为值的字典

self.disappeared = OrderedDict() 保存特定对象 ID(键)已被标记为“丢失”的连续帧数(值)

self.maxDisappeared = maxDisappeared,在我们取消注册该对象之前,允许将对象标记为“丢失/消失”的连续帧数。

有初始化,注册,注销,更新过程

核心代码在 def update

如果没有检测到目标,当前所有 id 的 self.disappeared 会加 1

如果注册的 id 为空,这当前帧所有质心会被注册上新的 id,否则会计算历史质心和当前帧质心的距离,距离较近的匹配上,更新 id 的质心,没有被分配上的历史质心对应 id 的 self.disappeared 会加 1,没有被分配的当前帧质心会被注册新的 id

超过 self.maxDisappeared 的 id 会被注销掉

根据 D 计算 rowscols 的时候有点绕,看看下面这段注释就会好理解一些

"""
Darray([[  2.        , 207.48252939],[206.65188119,   1.41421356]])D.min(axis=1)  每行最小值array([2.        , 1.41421356])rows 每行最小值再排序,表示按从小到大行数排序,比如最小的数在rows[0]所在的行,第二小的数在rows[1]所在的行array([1, 0])D.argmin(axis=1) 返回指定轴最小值的索引,也即每行最小值的索引array([0, 1])cols  每行每列最小值,按行从小到大排序array([1, 0])
"""

再看看一个 shape 不一样的例子

import numpy as npD = np.array([[2., 1, 3],[1.1, 1.41421356, 0.7]])print(D.min(axis=1))
print(D.argmin(axis=1))rows = D.min(axis=1).argsort()cols = D.argmin(axis=1)[rows]print(rows)
print(cols)"""
[1.  0.7]
[1 2][1 0]
[2 1]
"""

实际运用的时候,rows 是历史 ids,cols 是当前帧的 ids


人脸检测+跟踪+绘制结果 pipeline

# USAGE
# python object_tracker.py --prototxt deploy.prototxt --model res10_300x300_ssd_iter_140000.caffemodel# import the necessary packages
from CentroidTracking.centroidtracker import CentroidTracker
import numpy as np
import argparse
import imutils
import cv2# construct the argument parse and parse the arguments
ap = argparse.ArgumentParser()
ap.add_argument("-p", "--prototxt", default="deploy.prototxt.txt",help="path to Caffe 'deploy' prototxt file")
ap.add_argument("-m", "--model", default="res10_300x300_ssd_iter_140000.caffemodel",help="path to Caffe pre-trained model")
ap.add_argument("-c", "--confidence", type=float, default=0.5,help="minimum probability to filter weak detections")
args = vars(ap.parse_args())# initialize our centroid tracker and frame dimensions
ct = CentroidTracker()
(H, W) = (None, None)# load our serialized model from disk
print("[INFO] loading model...")
net = cv2.dnn.readNetFromCaffe(args["prototxt"], args["model"])# initialize the video stream
print("[INFO] starting video stream...")
vs = cv2.VideoCapture("4.mp4")index = 0# loop over the frames from the video stream
while True:index += 1# read the next frame from the video stream and resize itrect, frame = vs.read()if not rect:breakframe = imutils.resize(frame, width=600)(H, W) = frame.shape[:2]# construct a blob from the frame, pass it through the network,# obtain our output predictions, and initialize the list of# bounding box rectanglesblob = cv2.dnn.blobFromImage(frame, 1.0, (W, H),(104.0, 177.0, 123.0))net.setInput(blob)detections = net.forward()  # (1, 1, 200, 7)"""detections[0][0][0]array([0.        , 1.        , 0.9983138 , 0.418003  , 0.22666326,0.5242793 , 0.50829136], dtype=float32)第三个维度是 score最后四个维度是左上右下坐标"""rects = []  # 记录所有检测框的左上右下坐标# loop over the detectionsfor i in range(0, detections.shape[2]):# filter out weak detections by ensuring the predicted# probability is greater than a minimum thresholdif detections[0, 0, i, 2] > args["confidence"]:# compute the (x, y)-coordinates of the bounding box for# the object, then update the bounding box rectangles listbox = detections[0, 0, i, 3:7] * np.array([W, H, W, H])rects.append(box.astype("int"))# draw a bounding box surrounding the object so we can# visualize it(startX, startY, endX, endY) = box.astype("int")cv2.rectangle(frame, (startX, startY), (endX, endY),(0, 0, 255), 2)# update our centroid tracker using the computed set of bounding# box rectanglesobjects = ct.update(rects)# loop over the tracked objectsfor (objectID, centroid) in objects.items():# draw both the ID of the object and the centroid of the# object on the output frametext = "ID {}".format(objectID)cv2.putText(frame, text, (centroid[0] - 10, centroid[1] - 10),cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 2)cv2.circle(frame, (centroid[0], centroid[1]), 4, (0, 0, 255), -1)# show the output framecv2.imshow("Frame", frame)# cv2.imwrite(f"./frame4/{str(index).zfill(3)}.jpg", frame)key = cv2.waitKey(1) & 0xFF# if the `q` key was pressed, break from the loopif key == ord("q"):break# do a bit of cleanup
cv2.destroyAllWindows()
vs.release()

网络前向后的结果,第三个维度是 score,最后四个维度是左上右下坐标

核心跟新坐标的过程在 objects = ct.update(rects)

4、结果展示

单个人脸

tracking-face1

多个人脸

tracking-face2

多个人脸,存在漏检情况,id 还是持续了很长一段时间(算法中配置的是 50 帧)

tracking-face3

多个人脸

tracking-face4

5、涉及到的库函数

scipy.spatial.distance.cdist 是 SciPy 库中 spatial.distance 模块的一个函数,用于计算两个输入数组之间所有点对之间的距离。这个函数非常有用,特别是在处理大规模数据集时,需要计算多个点之间的距离矩阵。

函数的基本用法如下:

from scipy.spatial.distance import cdist  # 假设 XA 和 XB 是两个二维数组,其中每一行代表一个点的坐标  
XA = ...  # 形状为 (m, n) 的数组,m 是点的数量,n 是坐标的维度  
XB = ...  # 形状为 (p, n) 的数组,p 是另一个集合中点的数量  # 计算 XA 和 XB 中所有点对之间的距离  
# metric 参数指定使用的距离度量,默认为 'euclidean'(欧氏距离)  
D = cdist(XA, XB, metric='euclidean')

在这个例子中,D 将是一个形状为 (m, p) 的数组,其中 D[i, j] 表示 XA 中第 i 个点和 XB 中第 j 个点之间的距离。

cdist 函数支持多种距离度量,通过 metric 参数指定。除了默认的欧氏距离外,还可以选择如曼哈顿距离(‘cityblock’)、切比雪夫距离(‘chebyshev’)、闵可夫斯基距离(‘minkowski’,需要额外指定 p 值)、余弦距离(注意:虽然余弦通常用作相似度度量,但可以通过 1 - cosine(u, v) 转换为距离度量,不过 cdist 不直接支持负的余弦距离,需要手动计算)、汉明距离(‘hamming’,仅适用于布尔数组或整数数组)等。

6、参考

  • https://github.com/gopinath-balu/computer_vision
  • https://pyimagesearch.com/2018/07/23/simple-object-tracking-with-opencv/
  • 链接:https://pan.baidu.com/s/1UX_HmwwJLtHJ9e5tx6hwOg?pwd=123a
    提取码:123a
  • 目标跟踪(7)使用 OpenCV 进行简单的对象跟踪
  • https://pixabay.com/zh/videos/woman-phone-business-casual-154833/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/462227.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

GraphQL系列 - 第2讲 Spring集成GraphQL

目录 一、maven依赖二、Schema 定义三、代码集成3.1 创建模型类3.2 创建服务类3.3 创建控制器类 四、单元测试五、实际 HTTP 请求测试5.1 查询单个 Person5.2 查询所有 People5.3 添加 Person 六、其他6.1 开启graphiql6.2 开启schema查看端点 一、maven依赖 首先,…

Golang | Leetcode Golang题解之第526题优美的排列

题目&#xff1a; 题解&#xff1a; func countArrangement(n int) int {f : make([]int, 1<<n)f[0] 1for mask : 1; mask < 1<<n; mask {num : bits.OnesCount(uint(mask))for i : 0; i < n; i {if mask>>i&1 > 0 && (num%(i1) 0 |…

模拟栈的实现

栈的概念 栈&#xff1a;一种特殊的线性表&#xff0c;其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈 顶&#xff0c;另一端称为栈底。栈中的数据元素遵守后进先出 LIFO &#xff08; Last In First Out &#xff09;的原则。 压栈&…

Win10搭建SFTP服务器

1、下载安装 Release v9.5.0.0p1-Beta PowerShell/Win32-OpenSSH GitHub 下载OpenSSH-Win64.zip 解压之后放入到&#xff1a;C:\Program Files (x86)\OpenSSH-Win64以管理员身份打开CMD进入到 C:\Program Files (x86)\OpenSSH-Win64 文件夹执行命令 powershell.exe -Exec…

WordPress网站添加嵌入B站视频,自适应屏幕大小,取消自动播放

结合bv号 改成以下嵌入式代码&#xff08;自适应屏幕大小,取消自动播放&#xff09; <iframe style"width: 100%; aspect-ratio: 16/9;" src"//player.bilibili.com/player.html?isOutsidetrue&bvidBV13CSVYREpr&p1&autoplay0" scrolling…

C语言内幕--全局变量(结合内存分区、汇编视角看类型、连接器)

前言 学习资源&#xff1a;b站up主&#xff1a;底层技术栈学过C语言都知道&#xff0c;全局变量可以再全局中使用&#xff0c;其实全局变量内部还是涉及到不少知识&#xff0c;这里从内存分区、汇编视角看类型、连接器等角度看待全局变量&#xff1b;由于涉及到底层技术&#…

省级-建成区绿化覆盖率数据(2006-2022年)

建成区绿化覆盖率是指城市建成区的绿化覆盖面积占建成区的百分比。 城市绿化覆盖率的提升&#xff0c;不仅能够改善城市的空气质量&#xff0c;降低噪音污染&#xff0c;还能提高城市的生物多样性&#xff0c;为市民提供更多的休闲和娱乐空间。 2006年-2022年省级-建成区绿化…

基于CNN-BiLSTM的时间序列数据预测,15个输入1个输出,可以更改数据集,MATLAB代码

1. 数据收集与预处理 数据清洗&#xff1a;处理缺失值、异常值等。特征工程&#xff1a;提取有助于预测的特征。数据标准化&#xff1a;将时间序列数据标准化&#xff0c;使其具有零均值和单位方差&#xff0c;有助于模型训练。滑动窗口划分&#xff1a;将时间序列数据划分为多…

SSM学习 day02

一、vue项目开发流程 vue根组件 <template><div><h1>{{ message }}</h1><element-view></element-view></div> </template><script> import ElementView from ./views/Element/ElementView.vue export default {compon…

【NOIP普及组】 FBI树

【NOIP普及组】 FBI树 C语言版本C 版本Java版本Python版本 &#x1f490;The Begin&#x1f490;点点关注&#xff0c;收藏不迷路&#x1f490; 我们可以把由“0”和“1”组成的字符串分为三类&#xff1a;全“0”串称为B串&#xff0c;全“1”串称为I串&#xff0c;既含“0”又…

大数据新视界 -- 大数据大厂之数据质量管理全景洞察:从荆棘挑战到辉煌策略与前沿曙光

&#x1f496;&#x1f496;&#x1f496;亲爱的朋友们&#xff0c;热烈欢迎你们来到 青云交的博客&#xff01;能与你们在此邂逅&#xff0c;我满心欢喜&#xff0c;深感无比荣幸。在这个瞬息万变的时代&#xff0c;我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的…

基于 webpack 项目接入 vite 你可能需要注意的点

前言 在之前的 如何优化你的 vue-cli 项目&#xff1f; 一文中介绍基于 webpack 进行的一些优化方法&#xff0c;本文的核心是基于一个 vue2 的项目&#xff08;也就是上篇文章中的项目&#xff09;来继续介绍一下如何接入 vite&#xff0c;以及这个过程中需要关注的点。 之前…

Python工具箱系列(五十七)

图像分割与人脸识别 众所周知图像是由若干有意义的像素组成的&#xff0c;图像分割作为计算机视觉的基础&#xff0c;对具有现有目标和较精确边界的图像进行分割&#xff0c;实现在图像像素级别上的分类任务。图像分割可分为语义分割和实例分割两类&#xff0c;区别如下&#x…

日志代码编写

&#x1f30e;日志代码编写 文章目录&#xff1a; 日志代码编写 了解日志 日志编写       日志等级       获取时间信息       获取文件名行号及处理可变参数列表       以宏的形式传参       日志加锁       日志消息输出方式 完整代码 …

告别繁琐统计,一键掌握微信数据

微信数据管理的挑战在数字时代&#xff0c;微信已成为我们日常沟通和商业活动的重要工具。然而&#xff0c;随着微信号数量的增加&#xff0c;手动统计每个账号的数据变得越来越繁琐。从好友数量到会话记录&#xff0c;再到转账和红包&#xff0c;每一项都需要耗费大量的时间和…

【第几小】

题目 代码 //分块可以AC 20个点的块长&#xff0c; sqrt(n)*5#include<bits/stdc.h> using namespace std;int main(){ios::sync_with_stdio(0),cin.tie(0),cout.tie(0);int n; cin>>n;vector<int> a(n1,0);//分块int len sqrt(n)*5; //块长int k (n%len…

详细分析Pytorch中的transpose基本知识(附Demo)| 对比 permute

目录 前言1. 基本知识2. Demo 前言 原先的permute推荐阅读&#xff1a;详细分析Pytorch中的permute基本知识&#xff08;附Demo&#xff09; 1. 基本知识 transpose 是 PyTorch 中用于交换张量维度的函数&#xff0c;特别是用于二维张量&#xff08;矩阵&#xff09;的转置操…

使用Docker构建和部署微服务

&#x1f493; 博客主页&#xff1a;瑕疵的CSDN主页 &#x1f4dd; Gitee主页&#xff1a;瑕疵的gitee主页 ⏩ 文章专栏&#xff1a;《热点资讯》 [TOC] Docker 是一个开源的容器化平台&#xff0c;可以帮助开发者轻松构建、打包和部署应用程序。本文将详细介绍如何使用 Dock…

Python+Appium+Pytest+Allure自动化测试框架-代码篇

文章目录 自动化测试框架工程目录示例测试代码示例结果查看allurepytest编写pytest测试样例的规则pytest conftest.py向测试函数传参 appium启动appium服务代码端通过端口与appium服务通信对设备进行操作在pytest测试用例中调用appium 更多功能 PythonAppiumPytestAllure自动化…

Elasticsearch Interval 查询:为什么它们是真正的位置查询,以及如何从 Span 转换

作者&#xff1a;来自 Elastic Mayya Sharipova 解释 span 查询如何成为真正的位置查询以及如何从 span 查询过渡到它们。 长期以来&#xff0c;Span 查询一直是有序和邻近搜索的工具。这些查询对于特定领域&#xff08;例如法律或专利搜索&#xff09;尤其有用。但相对较新的 …