Python基于OpenCV监控老鼠蟑螂检测系统[完整源码＆部署教程]

1.视频演示：

[项目分享]Python基于OpenCV监控老鼠蟑螂检测系统[完整源码＆部署教程]_哔哩哔哩_bilibili

2.图片演示：

3.明厨亮灶：

餐饮企业的厨房卫生状况一直饱受消费者诟病，许多宾馆饭店大厅、包间富丽堂皇，然而，厨房却往往惨不忍睹。尤其是餐厅中出现老鼠的事故，最近几年频繁发生。有媒体曾经爆料过，著名的海底捞餐厅，甚至是快餐领域的巨头肯德基和麦当劳的厨房都出现了老鼠的踪迹。

明厨亮灶是国家食品药品监督管理局推行的一项利民工程，即让消费者坐在饭店大厅或者包间，就可以通过透明玻璃或大屏幕将后厨的一举一动尽收眼底。此举既是督促餐饮单位加强自律，也是鼓励他律，使餐饮单位全面接受消费者监督，主动保障饮食安全。随着视频分析以及人工智能技术的发展与进步，越来越多的事件可以通过视频监控实时进行检测与识别，通过视频分析可以对监控场景中的老鼠进行检测，同时可以实现对老鼠的踪迹进行记录、提前侦测深圳进行报警。

老鼠检测算法方案：

老鼠体积较小，另外厨房内安装的摄像头要同时兼顾监控录像功能，所以镜头几乎不会太大，即要看的场景视角要宽阔，所以送到算法模块中的帧图像中老鼠的成像面积都是很小的，所以基于这些限制条件，那么对于熟悉算法的人来说，几乎只有一种方案可选了。那就是：“运动目标检测+目标跟踪+目标分类”。
运动目标检测算法离不开背景建模，具体背景建模算法可以参考之前的文章：https://zhuanlan.zhihu.com/p/266800330

目标跟踪算法离不开简单使用的kalman，具体的跟踪算法可以参考之前的文章：

https://zhuanlan.zhihu.com/p/268758079

老鼠分类算法，基于传统的机器学习方法：adaboost、svm、dpm、xgboost等，速度快，但是准确率很难再提升上去；建议采用深度学习方法，比如resnet系列的网络，自己独立设计几层小网络，即可达到很好的效果。

老鼠加测分类网络，最近在github上查到一个较好的贡献，包括背景建模、分类模型、测试视频等全过程代码，非常感谢这位贡献者，但是实测下来，模型分类效果还是存在误报，所以距离落地还是有一定差距，关键是训练数据，因为夜间老鼠的数据还是很稀有的。Github链接：

https://github.com/isyanan1024/Mouse-detect
github.com/isyanan1024/Mouse-detect

4.现有算法存在的缺陷：

老鼠检测在明初亮灶项目上几乎是必须的，虽然貌似比较简单，但是真正做到实用落地还是比较难的，所有人都知道背景建模误报多，但是还是离不开它，但是你要想在背景建模的算法上做出花样来，那几乎又不是太可能的，所以老鼠检测算法的方案也是把整个CV方案能用到的模块都遍历到了，至于最终效果，就需要一定的工程trick、策略等等。明厨亮灶：老鼠检测算法应用的几个落地难点介绍如下，后续有机会更新解决方法。

1、老鼠样本数据少

厨房白天有人，老鼠不出来，所以老鼠检测都是没人的晚上用。晚上的厨房一般都是关灯的，几乎没有光线，需要摄像头红外补光来或许图像，所以真实应用时，摄像头图片都是灰度的，老鼠的两个眼睛都是白亮白亮的。因为数据的稀缺性，这就严重影响了算法的性能。

2、误报多

其实算法初期的几个版本，误报多的几乎惨不忍睹，背景建模的副作用还是很大的，另外前期训练数据较少，分类效果不佳，去误报模块策略不完备，所以误报较多。

3、应用推广难

其实这个需求，作为各个餐馆、食品厂的个体户或者老板，肯定是不希望安装这个老鼠检测的，因为会罚款。那么这个需求是谁提的呢，其实是各个地区的食药监，其实这个应用的真实需求是政府，那么想拿到这个需求单子就要政府打交道了，这就不是一般的集成商或者工程商可以拿到的了，所以也限制了一些算法公司开发的积极性。

5.本文算法原理：

为了解决上述困难，本文采用帧间差分法，又称移动侦测。移动侦测即是根据视频每帧或者几帧之间像素的差异，对差异值设置阈值，筛选大于阈值的像素点，做掩模图即可选出视频中存在变化的桢。帧差法较为简单的视频中物体移动侦测，帧差法分为：单帧差、两桢差、和三桢差。随着帧数的增加是防止检测结果的重影。

帧间差分法(Temporal Difference)

由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。

6.算法流程图：

7.代码实现：

def threh(video,save_video,thres1,area_threh):cam = cv2.VideoCapture(video)#打开一个视频input_fps = cam.get(cv2.CAP_PROP_FPS)ret_val, input_image = cam.read()index=[]images=[]images.append(input_image)video_length = int(cam.get(cv2.CAP_PROP_FRAME_COUNT))input_image=cv2.resize(input_image,(512,512))ending_frame = video_lengthfourcc = cv2.VideoWriter_fourcc(*'XVID')out = cv2.VideoWriter(save_video,fourcc, input_fps, (512, 512))gray_lwpCV = cv2.cvtColor(input_image, cv2.COLOR_BGR2GRAY)gray_lwpCV = cv2.GaussianBlur(gray_lwpCV, (21, 21), 0)background=gray_lwpCV# es = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (9, 4))i = 0 # default is 0outt=[]while(cam.isOpened()) and ret_val == True and i <2999:## if i % 2==1:ret_val, input_image = cam.read()input_image=cv2.resize(input_image,(512,512))gray_lwpCV = cv2.cvtColor(input_image, cv2.COLOR_BGR2GRAY)gray_lwpCV = cv2.GaussianBlur(gray_lwpCV, (21, 21), 0)diff = cv2.absdiff(background, gray_lwpCV)outt.append(diff)#跟着图像变换背景tem_diff=diff.flatten()tem_ds=pd.Series(tem_diff)tem_per=1-len(tem_ds[tem_ds==0])/len(tem_ds)if (tem_per <0.2 )| (tem_per>0.75):background=gray_lwpCVelse:diff = cv2.threshold(diff, thres1, 255, cv2.THRESH_BINARY)[1]ret,thresh = cv2.threshold(diff.copy(),150,255,0)contours, hierarchy = cv2.findContours(thresh,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)#  contours, hierarchy = cv2.findContours(diff.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)for c in contours:if (cv2.contourArea(c) < area_threh) | (cv2.contourArea(c) >int(512*512*0.3) ) :  # 对于矩形区域，只显示大于给定阈值的轮廓（去除微小的变化等噪点）continue(x, y, w, h) = cv2.boundingRect(c) # 该函数计算矩形的边界框cv2.rectangle(input_image, (x, y), (x+w, y+h), (0, 255, 0), 2) index.append(i)#  cv2.imshow('contours', input_image)#  cv2.imshow('dis', diff)out.write(input_image)images.append(input_image)i = i+1out.release()cam.release()return outt,index,images```
##调取函数
outt=threh('new_video.mp4','test6.mp4',25,3000)