竞赛 行人重识别(person reid) - 机器视觉 深度学习 opencv python

文章目录

  • 0 前言
  • 1 技术背景
  • 2 技术介绍
  • 3 重识别技术实现
    • 3.1 数据集
    • 3.2 Person REID
      • 3.2.1 算法原理
      • 3.2.2 算法流程图
  • 4 实现效果
  • 5 部分代码
  • 6 最后

0 前言

🔥 优质竞赛项目系列,今天要分享的是

🚩 深度学习行人重识别(person reid)系统

该项目较为新颖,适合作为竞赛课题方向,学长非常推荐!

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数:3分
  • 工作量:3分
  • 创新点:5分

🧿 更多资料, 项目分享:

https://gitee.com/dancheng-senior/postgraduate

1 技术背景

行人重识别技术,是智能视频监控系统的关键技术之一,其研宄是针对特定目标行人的视频检索识别问题。行人再识别是一种自动的目标判定识别技术,它综合地运用了计算机视觉技术、机器学习、视频处理、图像分析、模式识别等多种相关技术于监控系统中,其主要描述的是在多个无重叠视域的摄像头监控环境之下,通过相关算法判断在某个镜头下出现过的感兴趣的目标人物是否在其他摄像头下再次出现。

2 技术介绍

在视频监控系统中,行人再识别任务的整体框架如下图所示:
—个监控系统由多个视域不相交的监控摄像头组成,摄像机的位置可以随时更改,同时也可以随时增加或减少摄像机。不两监控摄像头所摄取的画面、视角等各不相同。在这样的监控系统中,对行人的动向监测是,至关重要的。

对行人的监控主要基于以下三个基本的模块:

在这里插入图片描述

  • 行人检测:
    行人检测的目标是在图片中定位到行人的具体位置。这一步骤仅涉及到对于静止的单张图片的处理,而没有动态的处理,没有时间序列上的相关分析。

  • 行人轨迹跟踪:
    行人轨迹跟踪的主要任务是在一段时间内提供目标任务的位置移动信息。与行人检测不同,轨迹跟踪与时间序列紧密相关。行人轨迹跟踪是在行人检测的基础上进行的。

  • 行人再识别:
    行人再识别任务的目标是在没有相重合视域的摄像头或摄像机网络内的不同背景下的许多行人中中识别某个特定行人。行人再识别的


在此基础上,用训练出的模型进行学习从而判断得出某个摄像头下的行人与另一摄像头下的目标人物为同一个人。在智能视频监控系统中的行人再识别任务具有非常广阔的应用前景。行人再识别的应用与行人检测、目标跟踪、行人行为分析、敏感事件检测等等都有着紧密的联系,这些分析处理技术对于公安部门的刑侦工作和城市安防建设工作有着重要的意义。

3 重识别技术实现

3.1 数据集

目前行人再识别的研究需要大量的行人数据集。行人再识别的数据集主要是通过在不同区域假设无重叠视域的多个摄像头来采集拍摄有行人图像的视频,然后对视频提取帧,对于视频帧图像采用人工标注或算法识别的方式进行人体检测及标注来完成的。行人再识别数据集中包含了跨背景、跨时间、不同拍摄角度下、各种不同姿势的行人图片,如下图所示。

在这里插入图片描述

3.2 Person REID

3.2.1 算法原理

给定N个不同的行人从不同的拍摄视角的无重叠视域摄像机捕获的图像集合,行人再识别的任务是学习一个模型,该模型可以尽可能减小行人姿势和背景、光照等因素带来的影响,从而更好地对行人进行整体上的描述,更准确地对不同行人图像之间的相似度进行衡量。

我这里使用注意力相关的特征的卷积神经网络。该基础卷积神经网络架构可以由任何卷积神经网络模型代替,例如,VGG-19,ResNet-101。

该算法的核心模块在于注意力学习模型。

3.2.2 算法流程图

在这里插入图片描述

4 实现效果

在多行人场景下,对特定行人进行寻找
在这里插入图片描述

5 部分代码

import argparseimport timefrom sys import platformfrom models import *from utils.datasets import *from utils.utils import *from reid.data import make_data_loaderfrom reid.data.transforms import build_transformsfrom reid.modeling import build_modelfrom reid.config import cfg as reidCfgdef detect(cfg,data,weights,images='data/samples',  # input folderoutput='output',  # output folderfourcc='mp4v',  # video codecimg_size=416,conf_thres=0.5,nms_thres=0.5,dist_thres=1.0,save_txt=False,save_images=True):# Initializedevice = torch_utils.select_device(force_cpu=False)torch.backends.cudnn.benchmark = False  # set False for reproducible resultsif os.path.exists(output):shutil.rmtree(output)  # delete output folderos.makedirs(output)  # make new output folder############# 行人重识别模型初始化 #############query_loader, num_query = make_data_loader(reidCfg)reidModel = build_model(reidCfg, num_classes=10126)reidModel.load_param(reidCfg.TEST.WEIGHT)reidModel.to(device).eval()query_feats = []query_pids  = []for i, batch in enumerate(query_loader):with torch.no_grad():img, pid, camid = batchimg = img.to(device)feat = reidModel(img)         # 一共2张待查询图片,每张图片特征向量2048 torch.Size([2, 2048])query_feats.append(feat)query_pids.extend(np.asarray(pid))  # extend() 函数用于在列表末尾一次性追加另一个序列中的多个值(用新列表扩展原来的列表)。query_feats = torch.cat(query_feats, dim=0)  # torch.Size([2, 2048])print("The query feature is normalized")query_feats = torch.nn.functional.normalize(query_feats, dim=1, p=2) # 计算出查询图片的特征向量############# 行人检测模型初始化 #############model = Darknet(cfg, img_size)# Load weightsif weights.endswith('.pt'):  # pytorch formatmodel.load_state_dict(torch.load(weights, map_location=device)['model'])else:  # darknet format_ = load_darknet_weights(model, weights)# Eval modemodel.to(device).eval()# Half precisionopt.half = opt.half and device.type != 'cpu'  # half precision only supported on CUDAif opt.half:model.half()# Set Dataloadervid_path, vid_writer = None, Noneif opt.webcam:save_images = Falsedataloader = LoadWebcam(img_size=img_size, half=opt.half)else:dataloader = LoadImages(images, img_size=img_size, half=opt.half)# Get classes and colors# parse_data_cfg(data)['names']:得到类别名称文件路径 names=data/coco.namesclasses = load_classes(parse_data_cfg(data)['names']) # 得到类别名列表: ['person', 'bicycle'...]colors = [[random.randint(0, 255) for _ in range(3)] for _ in range(len(classes))] # 对于每种类别随机使用一种颜色画框# Run inferencet0 = time.time()for i, (path, img, im0, vid_cap) in enumerate(dataloader):t = time.time()# if i < 500 or i % 5 == 0:#     continuesave_path = str(Path(output) / Path(path).name) # 保存的路径# Get detections shape: (3, 416, 320)img = torch.from_numpy(img).unsqueeze(0).to(device) # torch.Size([1, 3, 416, 320])pred, _ = model(img) # 经过处理的网络预测,和原始的det = non_max_suppression(pred.float(), conf_thres, nms_thres)[0] # torch.Size([5, 7])if det is not None and len(det) > 0:# Rescale boxes from 416 to true image size 映射到原图det[:, :4] = scale_coords(img.shape[2:], det[:, :4], im0.shape).round()# Print results to screen image 1/3 data\samples\000493.jpg: 288x416 5 persons, Done. (0.869s)print('%gx%g ' % img.shape[2:], end='')  # print image size '288x416'for c in det[:, -1].unique():   # 对图片的所有类进行遍历循环n = (det[:, -1] == c).sum() # 得到了当前类别的个数,也可以用来统计数目if classes[int(c)] == 'person':print('%g %ss' % (n, classes[int(c)]), end=', ') # 打印个数和类别'5 persons'# Draw bounding boxes and labels of detections# (x1y1x2y2, obj_conf, class_conf, class_pred)count = 0gallery_img = []gallery_loc = []for *xyxy, conf, cls_conf, cls in det: # 对于最后的预测框进行遍历# *xyxy: 对于原图来说的左上角右下角坐标: [tensor(349.), tensor(26.), tensor(468.), tensor(341.)]if save_txt:  # Write to filewith open(save_path + '.txt', 'a') as file:file.write(('%g ' * 6 + '\n') % (*xyxy, cls, conf))# Add bbox to the imagelabel = '%s %.2f' % (classes[int(cls)], conf) # 'person 1.00'if classes[int(cls)] == 'person':#plot_one_bo x(xyxy, im0, label=label, color=colors[int(cls)])xmin = int(xyxy[0])ymin = int(xyxy[1])xmax = int(xyxy[2])ymax = int(xyxy[3])w = xmax - xmin # 233h = ymax - ymin # 602# 如果检测到的行人太小了,感觉意义也不大# 这里需要根据实际情况稍微设置下if w*h > 500:gallery_loc.append((xmin, ymin, xmax, ymax))crop_img = im0[ymin:ymax, xmin:xmax] # HWC (602, 233, 3)crop_img = Image.fromarray(cv2.cvtColor(crop_img, cv2.COLOR_BGR2RGB))  # PIL: (233, 602)crop_img = build_transforms(reidCfg)(crop_img).unsqueeze(0)  # torch.Size([1, 3, 256, 128])gallery_img.append(crop_img)if gallery_img:gallery_img = torch.cat(gallery_img, dim=0)  # torch.Size([7, 3, 256, 128])gallery_img = gallery_img.to(device)gallery_feats = reidModel(gallery_img) # torch.Size([7, 2048])print("The gallery feature is normalized")gallery_feats = torch.nn.functional.normalize(gallery_feats, dim=1, p=2)  # 计算出查询图片的特征向量# m: 2# n: 7m, n = query_feats.shape[0], gallery_feats.shape[0]distmat = torch.pow(query_feats, 2).sum(dim=1, keepdim=True).expand(m, n) + \torch.pow(gallery_feats, 2).sum(dim=1, keepdim=True).expand(n, m).t()# out=(beta∗M)+(alpha∗mat1@mat2)# qf^2 + gf^2 - 2 * qf@gf.t()# distmat - 2 * qf@gf.t()# distmat: qf^2 + gf^2# qf: torch.Size([2, 2048])# gf: torch.Size([7, 2048])distmat.addmm_(1, -2, query_feats, gallery_feats.t())# distmat = (qf - gf)^2# distmat = np.array([[1.79536, 2.00926, 0.52790, 1.98851, 2.15138, 1.75929, 1.99410],#                     [1.78843, 1.96036, 0.53674, 1.98929, 1.99490, 1.84878, 1.98575]])distmat = distmat.cpu().numpy()  # : (3, 12)distmat = distmat.sum(axis=0) / len(query_feats) # 平均一下query中同一行人的多个结果index = distmat.argmin()if distmat[index] < dist_thres:print('距离:%s'%distmat[index])plot_one_box(gallery_loc[index], im0, label='find!', color=colors[int(cls)])# cv2.imshow('person search', im0)# cv2.waitKey()print('Done. (%.3fs)' % (time.time() - t))if opt.webcam:  # Show live webcamcv2.imshow(weights, im0)if save_images:  # Save image with detectionsif dataloader.mode == 'images':cv2.imwrite(save_path, im0)else:if vid_path != save_path:  # new videovid_path = save_pathif isinstance(vid_writer, cv2.VideoWriter):vid_writer.release()  # release previous video writerfps = vid_cap.get(cv2.CAP_PROP_FPS)width = int(vid_cap.get(cv2.CAP_PROP_FRAME_WIDTH))height = int(vid_cap.get(cv2.CAP_PROP_FRAME_HEIGHT))vid_writer = cv2.VideoWriter(save_path, cv2.VideoWriter_fourcc(*fourcc), fps, (width, height))vid_writer.write(im0)if save_images:print('Results saved to %s' % os.getcwd() + os.sep + output)if platform == 'darwin':  # macosos.system('open ' + output + ' ' + save_path)print('Done. (%.3fs)' % (time.time() - t0))if __name__ == '__main__':parser = argparse.ArgumentParser()parser.add_argument('--cfg', type=str, default='cfg/yolov3.cfg', help="模型配置文件路径")parser.add_argument('--data', type=str, default='data/coco.data', help="数据集配置文件所在路径")parser.add_argument('--weights', type=str, default='weights/yolov3.weights', help='模型权重文件路径')parser.add_argument('--images', type=str, default='data/samples', help='需要进行检测的图片文件夹')parser.add_argument('-q', '--query', default=r'query', help='查询图片的读取路径.')parser.add_argument('--img-size', type=int, default=416, help='输入分辨率大小')parser.add_argument('--conf-thres', type=float, default=0.1, help='物体置信度阈值')parser.add_argument('--nms-thres', type=float, default=0.4, help='NMS阈值')parser.add_argument('--dist_thres', type=float, default=1.0, help='行人图片距离阈值,小于这个距离,就认为是该行人')parser.add_argument('--fourcc', type=str, default='mp4v', help='fourcc output video codec (verify ffmpeg support)')parser.add_argument('--output', type=str, default='output', help='检测后的图片或视频保存的路径')parser.add_argument('--half', default=False, help='是否采用半精度FP16进行推理')parser.add_argument('--webcam', default=False, help='是否使用摄像头进行检测')opt = parser.parse_args()print(opt)with torch.no_grad():detect(opt.cfg,opt.data,opt.weights,images=opt.images,img_size=opt.img_size,conf_thres=opt.conf_thres,nms_thres=opt.nms_thres,dist_thres=opt.dist_thres,fourcc=opt.fourcc,output=opt.output)

6 最后

🧿 更多资料, 项目分享:

https://gitee.com/dancheng-senior/postgraduate

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/187855.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Copilot】登录报错 Extension activation failed: “No auth flow succeeded.“(VSCode)

问题描述 Visual Studio Code 登录 GitHub Copilot 插件报错。 在浏览器中成功授权 GitHub 账户&#xff0c;返回 VSCode 后仍然报错。 [ERROR] [default] [2023-11-06T12:34:56.185Z] Extension activation failed: "No auth flow succeeded."原因分析 网络环境问…

山西电力市场日前价格预测【2023-11-12】

日前价格预测 预测说明&#xff1a; 如上图所示&#xff0c;预测明日&#xff08;2023-11-12&#xff09;山西电力市场全天平均日前电价为224.59元/MWh。其中&#xff0c;最高日前电价为434.30元/MWh&#xff0c;预计出现在18:00。最低日前电价为0.00元/MWh&#xff0c;预计出…

SpringBoot 缓存之 @Cacheable 详细介绍

一、简介 1、缓存介绍 Spring 从 3.1 开始就引入了对 Cache 的支持。定义了 org.springframework.cache.Cache 和 org.springframework.cache.CacheManager 接口来统一不同的缓存技术。并支持使用 JCache&#xff08;JSR-107&#xff09;注解简化我们的开发。&#xfeff; 其…

c语言,将奇数和偶数分类

题目&#xff1a;输入一个整数数组&#xff0c;实现一个函数&#xff0c;来调整该数组中数字的顺序使得数组中所有的奇数位于数组的前半部分&#xff0c;所有偶数位于数组的后半部分。 思路&#xff1a;像冒泡排序那样&#xff0c;相邻两个数比较&#xff0c;两个都是偶数则不…

Caused by: org.springframework.beans.factory.NoSuchBeanDefinitionException:

错误描述如下所示&#xff1a; 我们将错误拉到最下面如下所示为导致异常的原因&#xff1a; Caused by: org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type com.example.reviewmybatisplus.Service.UserService available: expec…

Perl语言用多线程爬取商品信息并做可视化处理

首先&#xff0c;我们需要使用Perl的LWP::UserAgent模块来发送HTTP请求。然后&#xff0c;我们可以使用HTML::TreeBuilder模块来解析HTML文档。在这个例子中&#xff0c;我们将使用BeautifulSoup模块来解析HTML文档。 #!/usr/bin/perl use strict; use warnings; use LWP::User…

班级新闻管理系统asp.net+sqlserver

班级新闻管理系统 附加功能 新闻图片&#xff0c;点击次数访问自增&#xff0c;每个人都只能增删改查自己发布的新闻&#xff0c;并可以看到所有人发布的新闻 运行前附加数据库.mdf&#xff08;或sql生成数据库&#xff09; 主要技术&#xff1a; 基于asp.net架构和sql serve…

内存条选购注意事项(电脑,笔记本)

电脑内存条的作用、选购技巧以及注意事项详解 - 郝光明的个人空间 - OSCHINA - 中文开源技术交流社区 现在的电脑直接和内存条联系 电脑上的所有输入和输出都只能依靠内存条 现在买双条而不是单条 买两个相同的内存条最好 笔记本先分清是低电压还是标准电压&#xff0c;DD…

前端和空字符串、零比较时请务必使用===

在前端开发中遇到一个问题&#xff0c;以下两条语句的结果都是true。 console.log(0 ""); console.log(false ""); 这就导致了editingId为0的时候&#xff0c;if分支并没有执行&#xff0c;而我的本意是当editingId不是空也不是空字符串的时候执行分支…

可视化 | 3D文字球状标签云

文章目录 &#x1f4da;改编点&#x1f4da;final 改编自echarts 3d词云&#xff08;指向滑动、拖动、缩放、点击、自转 &#xff09; &#x1f4da;改编点 背景透明&#xff1a;background:rgb(0,0,0,0);不用链接&#xff0c;用span&#xff0c;重点span标class"star&q…

3d max软件中的缓存垃圾该如何清理?

使用3d max建模到渲染操作&#xff0c;来回对效果图调整的次数过多时&#xff0c;就会出现一下看不到的垃圾缓存&#xff0c;影响保存的速度&#xff0c;影响效率&#xff01; 对于这类的3d垃圾清理的有什么高效方法呢&#xff1f; 3dmax垃圾清理的常规操作如下&#xff1a; 1、…

跨镜头目标融合__追踪之目标重识别研究(跨镜头目标追踪)

文章目录 标题&#xff1a;跨镜头目标融合&#xff1b;目标重识别&#xff1b;跨镜头目标追踪&#xff1b; 1 目的&#xff1a;2 实现方法/策略&#xff1a;2.1 目标类型位置匹配&#xff08;或考虑结合目标轨迹&#xff09;2.2 目标重识别2.3 目标类型位置匹配(轨迹)目标重识别…

14 # 手写 debounce 防抖方法

什么是防抖 防抖: n 秒后再去执行该事件&#xff0c;若在 n 秒内被重复触发&#xff0c;则重新计时&#xff0c;这个效果跟英雄联盟里的回城技能差不多。 本质上是优化高频率执行代码的一种手段&#xff0c;目的就是降低回调执行频率、节省计算资源。 应用场景&#xff1a; …

使用 huggingface_hub 镜像下载 大模型

download.py &#x1f447; import os # 配置 hf镜像 os.environ[HF_ENDPOINT] https://hf-mirror.com# 设置保存的路径 local_dir "XXXXXX"# 设置仓库id model_id "sensenova/piccolo-large-zh"cmd f"huggingface-cli download --resume-downlo…

Python 列表元素里面含有字典或者列表进行排序

大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码 示例1&#xff1a;列表里面含有列表进行排序 s [[1, 2], [100, 2], [33, 3], [25, 6]] s.sort(keylambda k: k[0]) print(s)结果&#xff1a; [[1, 2], [25, 6], [33, 3…

C++动态库

C动态库 动态库文件&#xff08;Dynamic Link Library&#xff0c;DLL&#xff09;是程序在运行时所需要调用的库。静态库文件是程序在编译时所需要调用的库。 1 环境介绍 VS版本&#xff1a;VS2017 编程语言&#xff1a;C 2 功能介绍 使用VS2017项目模板创建C动态库生成…

ARM 基础学习记录 / ARM 裸机编程

汇编程序调用 C 程序详情 在 C 程序和 ARM 汇编程序之间相互调用时必须遵守 ATPCS 规则&#xff0c;其是基于 ARM 指令集和 THUMB 指令集过程调用的规范&#xff0c;规定了调用函数如何传递参数&#xff0c;被调用函数如何获取参数&#xff0c;以何种方式传递函数返回值。 寄存…

为什么要做MBTI职业性格测试?

MBTI职业性格测试是一种成熟的人格测评工具&#xff0c;基于荣格理论发展而来&#xff0c;将人的性格分为16种类型&#xff0c;或内向。或外向&#xff0c;或注重情感&#xff0c;或注重感知。 每种性格各有长处和不足&#xff0c;通过应用mbti职业性格测试&#xff0c;可以方…

暖手宝+充电宝设计方案 可实现快速升温和充电 低成本充电电流可选

充电暖手宝因为它的便携性&#xff0c;既能供暖又能当充电宝使用而备受人们喜爱。是冬天暖手供暖的必备神器。 目前&#xff0c;市场常见的暖手宝大致有三个类型&#xff0c;分别是加热水的热水袋、通过化学反应放热的铁粉袋子和锂电供电的智能暖手宝。与常见的暖手宝不同&…

设计模式之组合模式-创建层次化的对象结构

目录 概述概念主要角色应用场景 组合模式的实现类图NS图基本代码组合模式的精髓意外收获&#xff08;❀❀&#xff09; 应用示例-公司组织架构管理需求结构图代码 组合模式的优缺点优点缺点 总结 概述 概念 组合模式是一种结构型设计模式&#xff0c;它允许将对象组合成树形结…