使用ffmpeg在视频中绘制矩形区域

由于项目需要对视频中的人脸做定位跟踪，

我先使用了人脸识别算法，对视频中的每个帧识别人脸、通过人脸库比对，最终记录坐标等信息。

然后使用ffmpeg中的 drawbox 滤镜功能，选择性的绘制区域。从而实现人脸定位跟踪

1、drawbox

在FFmpeg中，drawbox 滤镜的 enable 参数用于控制矩形框绘制的条件和时机。通过这个参数，你可以指定在何时或者在哪些帧上启用 drawbox 滤镜。

enable 参数的语法

drawbox=enable='条件表达式':x=...:y=...:w=...:h=...:color=...:t=...

1.1、常用条件表达式

条件表达式通常是一个布尔表达式，当表达式的值为 true 时，drawbox 滤镜将会被应用。

注意在eq函数中的 反斜杠 \

1.1.1、基于帧编号 (n)

n 表示当前帧的编号，从 0 开始计数。

  • 示例: 仅在第50帧绘制矩形框： 
     
    enable='eq(n\,50)'
     解释: eq(n\,50) 表示当帧编号等于50时启用。
 

1.1.2、基于时间 (t)
 

t 表示视频当前的时间（单位：秒）。
 

  • 示例: 在视频的第1秒到第2秒之间绘制矩形框： 
     
    enable='between(t,1,2)'
     
 

1.1.3、基于帧间隔 (mod)
 

你可以使用 mod 函数来基于帧间隔绘制矩形框，例如每隔 10 帧绘制一次。
 

  • 示例: 每10帧绘制一次矩形框： 
     
    enable='mod(n\,10)'
     解释: mod(n\,10) 表示 n 除以 10 的余数为 0 时启用滤镜，即每 10 帧启用一次。
 

1.1.4、基于帧关键帧 (key)
 

key 表示关键帧的布尔值，1 表示关键帧，0 表示非关键帧。
 

  • 示例: 仅在关键帧上绘制矩形框： 
     
    enable='key'
     解释: 当帧是关键帧时启用滤镜。
 

1.2、组合条件表达式
 

你可以通过逻辑操作符（如 and, or, not 等）组合多个条件。
 

示例：在关键帧中且时间在第1秒到第2秒之间绘制矩形框
 

enable='key*between(t,1,2)'
 

示例：从第50帧到第100帧之间，且帧编号是5的倍数时绘制矩形框
 

enable='between(n,50,100)*eq(mod(n,5),0)'
 

1.3、完整脚本
 

ffmpeg -i input.mp4 -vf "drawbox=enable='between(n,50,150)':x=100:y=50:w=200:h=100:color=red@0.5:t=5" output.mp4

 

参数说明：
 

  • x=100: 矩形框的左上角 x 坐标。
  • y=50: 矩形框的左上角 y 坐标。
  • w=200: 矩形框的宽度。
  • h=100: 矩形框的高度。
  • color=red@0.5: 矩形框的颜色和透明度（0.5 表示半透明）。
  • t=5: 边框的厚度。设置为 t=fill 时表示填充整个矩形。
  • -frames:v 1: 提取第1帧的结果。
 

上述命令表示 选择帧在50，100之间，绘制(100,50) 到（300，150）的红色区域
 

注：
 

如果需要截取某一帧的图片，并保存，使用如下命令
 

ffmpeg -i input.mp4 -vf "drawbox=x=100:y=50:w=200:h=100:color=red@0.5:t=5" -frames:v 1 output.png
 

2、批量绘制
 

需要针对一个视频，进行大批量自定义帧，自定义区域绘制
 

2.1、使用concat组合多个drawbox
 

如果需要处理的帧较多，可以使用FFmpeg的滤镜链来组合多个 drawbox 滤镜。这里需要定义每个 drawbox 的启用条件和对应的矩形参数。
 

假设你需要在第1到第5帧上绘制不同大小的矩形框：
 

ffmpeg -i input.mp4 -vf "
[0:v]drawbox=enable='eq(n\,1)':x=10:y=10:w=100:h=50:color=red@0.8:t=2,
drawbox=enable='eq(n\,2)':x=20:y=20:w=150:h=75:color=blue@0.8:t=2,
drawbox=enable='eq(n\,3)':x=30:y=30:w=200:h=100:color=green@0.8:t=2,
drawbox=enable='eq(n\,4)':x=40:y=40:w=250:h=125:color=yellow@0.8:t=2,
drawbox=enable='eq(n\,5)':x=50:y=50:w=300:h=150:color=purple@0.8:t=2
" output.mp4
 

解释：
 

  • 在第1帧（n=1）绘制一个红色的矩形框。
  • 在第2帧（n=2）绘制一个蓝色的矩形框，依此类推。
 

这种方法适合帧数量较少的情况，随着帧数的增加，命令行也会变得更复杂。
 

2.2、使用编程语言生成滤镜链
 

对于100多帧，手动编写每个滤镜配置可能非常繁琐。你可以使用Python等编程语言生成FFmpeg的滤镜配置脚本。
 

Python 代码生成滤镜链
 

以下是一个简单的Python脚本，它可以根据输入生成相应的FFmpeg命令：
 

frames = [{"n": 1, "x": 10, "y": 10, "w": 100, "h": 50, "color": "red@0.8"},{"n": 2, "x": 20, "y": 20, "w": 150, "h": 75, "color": "blue@0.8"},{"n": 3, "x": 30, "y": 30, "w": 200, "h": 100, "color": "green@0.8"},# 继续添加帧的配置...
]filters = []
for frame in frames:filters.append("drawbox=enable='eq(n\,{n})':x={x}:y={y}:w={w}:h={h}:color={color}:t=2".format(n=frame["n"], x=frame["x"], y=frame["y"], w=frame["w"], h=frame["h"], color=frame["color"]))ffmpeg_command = "ffmpeg -i input.mp4 -vf \"{}\" output.mp4".format(",".join(filters))
print(ffmpeg_command)
 

这个脚本将生成一个适用于FFmpeg的命令，可以根据需要调整帧号和矩形框的参数。
 

3、Java完整代码
 

在下面的代码中，进行转码时，只保留视频部分，音频部分被移除
 

如果需要可以使用 
 

 
-c:a copy 代替 -an
 

 

  
import lombok.Data;
import lombok.extern.slf4j.Slf4j;import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.List;
import java.util.concurrent.TimeUnit;/**** ffmpeg 命令工具，要求主机必须已安装ffmpeg命令* @author xuancg* @date 2024/8/19*/
@Slf4j
public class FfmpegUtil {/**进行视频区域绘制并进行视频截取 只提取视频，忽略声音 */private static final String RECT_CUT_FORMAT = "ffmpeg -i %s -vf \"[0:v]%s\" -ss %s -to %s -an -y %s";private static final String RECT_FORMAT = "drawbox=enable='eq(n\\,%d)':x=%d:y=%d:w=%d:h=%d:color=red@0.8:t=2";/*** 先经过批量的视频帧区域绘制，然后在进行视频剪裁* @param src 输入文件* @param rectList 区域绘制* @param startTime 剪裁开始时间00:00:03* @param endTime 剪裁结束时间 00:00:23* @param dest 目标文件* @return*/public static boolean drawRectByBatchFrame(File src, List<FrameRect> rectList, String startTime, String endTime, File dest) {String source = src.getAbsolutePath();String output = dest.getAbsolutePath();if(!src.isFile()){log.error("源文件不存在source=" + source);return false;}if(dest.exists()){log.error("目标文件已存在dest=" + output);}long start = System.currentTimeMillis();Process process = null;BufferedReader reader = null;try {int size = rectList.size();StringBuilder builder = new StringBuilder();for (int i = 0; i < rectList.size(); i++) {FrameRect rect = rectList.get(i);builder.append(String.format(RECT_FORMAT,rect.getFrameIdx(), rect.getX(), rect.getY(), rect.getWidth(), rect.getHeight()));if(i < size - 1){builder.append(",");}}String cmd = String.format(RECT_CUT_FORMAT,source.replace("\\","/"), builder.toString(),startTime, endTime,  output.replace("\\","/"));log.info("ffmpeg执行命令=" + cmd);// 执行命令process = Runtime.getRuntime().exec(cmd);// 获取命令输出结果reader = new BufferedReader(new InputStreamReader(process.getErrorStream()));String line;while ((line = reader.readLine()) != null) {log.debug(line);}process.waitFor(120, TimeUnit.SECONDS);return  dest.isFile() && dest.length() > 100;} catch (IOException e) {e.printStackTrace();} catch (InterruptedException e) {log.error("剪裁视频超时source=" + source);} finally {if(null != process){process.destroy();}if(null != reader){try {reader.close();} catch (IOException e) {log.error("关闭流失败" + e.getMessage());}}log.info("耗时ms=" + (System.currentTimeMillis() - start));}return false;}@Datapublic static class FrameRect {private int frameIdx;private int x;private int y;private int width;private int height;/*** 区域外扩10像素* @param detail*/public FrameRect(VideoDetail detail){this.frameIdx = detail.getFrameIdx();this.x = detail.getLeftX() - 10;this.y = detail.getTop() - 10;this.width = detail.getRightX() - detail.getLeftX() + 20;this.height = detail.getBottom() - detail.getTop() + 20;}}}

 

ffmpeg部分脚本命令如下
 

 
ffmpeg -i G:/download/20240618121820-video.mp4 -vf "[0:v]drawbox=enable='eq(n\,102)':x=1141:y=158:w=90:h=90:color=red@0.8:t=2,
 
drawbox=enable='eq(n\,104)':x=1165:y=167:w=94:h=94:color=red@0.8:t=2,
 
drawbox=enable='eq(n\,105)':x=1179:y=169:w=94:h=94:color=red@0.8:t=2"
 
-ss 00:00:02 -to 00:00:08 -an -y G:/download/20240618121820.mp4 
 

 

视频效果如下图
 

 

 
使用eq单独帧，任务较多，
 
后续可以使用between 范围帧 
 

 

4、补充说明
 

在Ubuntu环境下，java代码执行脚本命令出现No such filter 等一系列错误，但命令单独在linux环境下执行无问题。
 

 
[AVFilterGraph @ 0x5591410a5080] No such filter: ‘”’
 
[AVFilterGraph @ 0x5591410a5080] No such filter: '[0:v]drawbox=
 
[AVFilterGraph @ 0x55a38dea3680] No such filter: '"drawbox'
 

 

 调整代码，不再使用双引号，反斜杠
 

/**进行视频区域绘制并进行视频截取 只提取视频，忽略声音 */
private static final String RECT_CUT_FORMAT = "ffmpeg -i %s -vf [0:v]%s -ss %s -to %s -an -y %s";private static final String RECT_FORMAT = "drawbox=enable='eq(n,%d)':x=%d:y=%d:w=%d:h=%d:color=red@0.8:t=2";
 

之前的代码如下： 
 












本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/422250.html


如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！











相关文章










用于协作代码开发的 10 大 GitHub 集成








用于协作代码开发的 10 大 GitHub 集成




GitHub 是开发人员的天堂。开发人员在分布式 GitHub 存储库中存储和管理其源代码，允许多个贡献者同时处理项目。这种协作行动将生产力提高了 22%，将修复漏洞的速度提高了 7 倍，并将入职时间缩短了 80%。 
作为一个版本控制系统，它允许开发人员跟踪和审查更改、管理分支和合…




阅读更多...

















【Sceneform-EQR】通过sceneform-eqr实现一个视频播放器（使用安卓MediaPlayer实现视频播放）








【Sceneform-EQR】通过sceneform-eqr实现一个视频播放器（使用安卓MediaPlayer实现视频播放）




在前一篇文档中介绍了如何在AR\三维场景创建几种背景 
【Sceneform-EQR】scenefrom-eqr中的几种背景实现(不仅用于AR、三维场景&#xff0c;在图片、视频播放器中也适用) 
本文将侧重介绍如何使用安卓MediaPlayer实现视频播放。 ↓↓↓↓↓↓↓↓↓↓↓↓ 以下正文 ↓↓↓↓↓↓…




阅读更多...

















李彦宏内部讲话曝光，谈大模型三大认知误区：智能体还是非共识








李彦宏内部讲话曝光，谈大模型三大认知误区：智能体还是非共识




“外界对大模型有相当多的误解&#xff0c;”近日据媒体报道&#xff0c;李彦宏的一则内部讲话曝光。在最近一次和员工交流中&#xff0c;李彦宏谈及三个大模型认知误区&#xff0c;涵盖了大模型竞争、开源模型效率、智能体趋势等热点话题。 
李彦宏认为未来大模型之间的差距可…




阅读更多...

















DWI扩散磁共振成像和结构连接组学指南








DWI扩散磁共振成像和结构连接组学指南




扩散磁共振成像和结构连接组学指南 引言流程概述扩散磁共振成像(dMRI)dMRI基础ADC&#xff08; apparent diffusion coefficient, 表观扩散系数&#xff09;MD&#xff08;mean diffusivity, 平均扩散率&#xff09;FA&#xff08; fractional anisotropy, 分数各向异性&#x…




阅读更多...

















“左侧文字横向”的QTabWidget








“左侧文字横向”的QTabWidget




左侧用 QToolButton 组&#xff0c; 右侧用 QStackedWidget&#xff0c;信号槽绑定切换页面 可定制化高 QButtonGroup* btnGp  new QButtonGroup(this);btnGp->addButton(ui->btn1, 0);btnGp->addButton(ui->btn2, 1);btnGp->addButton(ui->btn3, 2);connect…




阅读更多...

















MongoDB的Map-Reduce操作与聚合管道操作的两个实例相互转换








MongoDB的Map-Reduce操作与聚合管道操作的两个实例相互转换




一、插入集合 comment 的文档的内容 二、题目要求 
将集合 comment 中的文档进行聚合操作&#xff0c;即将字段 state为1的文档查询出来&#xff0c;然后按字段 nickname 进行分组,最后计算出每个评论者的评论条数。 三、mapReduce 操作代码 
db.comment.mapReduce(// Map函数&…




阅读更多...

















linux搭建深度学习平台








linux搭建深度学习平台




linux搭建深度学习平台&#xff08;Ubuntu&#xff09; 
/home/guangyao/anaconda3 我服务器的anaconda地址 
~/anaconda3 
1 首先就是打开浏览器&#xff0c;我实验室的是火狐&#xff0c;搜索anaconda下载&#xff0c;找到下载目录&#xff0c;cd进去&#xff0c; 
2安装 bas…




阅读更多...

















鸿蒙界面开发——组件（6）：属性字符串（StyledString）文本输入








鸿蒙界面开发——组件（6）：属性字符串（StyledString）文本输入




属性字符串StyledString/MutableStyledString 
MutableStyledString继承于StyledString&#xff0c;以下统一简称StyledString。 是功能强大的标记对象&#xff0c;可用于字符或段落级别设置文本样式。 通过将StyledString附加到文本组件&#xff0c; 可以通过多种方式更改文本…




阅读更多...

















爆改YOLOv8|利用SCConv改进yolov8-即轻量又涨点








爆改YOLOv8|利用SCConv改进yolov8-即轻量又涨点




1&#xff0c;本文介绍 
SCConv&#xff08;空间和通道重构卷积&#xff09;是一种高效的卷积模块&#xff0c;旨在优化卷积神经网络&#xff08;CNN&#xff09;的性能&#xff0c;通过减少空间和通道的冗余来降低计算资源的消耗。该模块由两个核心组件构成&#xff1a; 空间重…




阅读更多...

















ELK在Linux上部署教程








ELK在Linux上部署教程




Docker Compose搭建ELK 
Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足&#xff0c;我们可以使用下面这条命令来增加内存 
sysctl -w vm.max_map_count262144创建Elasticsearch数据挂载路径 
mkdir -p /echola/elasticsearch/data对…




阅读更多...

















【截图服务 +打包】pkg打包 puppeteer








【截图服务 +打包】pkg打包 puppeteer




目录 
最后结论 
windows打包成服务  
定制executablePath  
用程序来查找chrome.exe 代替上面的写配置文件 
服务遇到的问题 使用java开一个线程启动 
遇到的问题与解决 
版本匹配问题 
打出包后的运行报错问题 
linux下的安装 
安装n 
库缺少 
程序运行后的报错 
制作 
运行报…




阅读更多...

















IT前端好用的工具集








IT前端好用的工具集




在线抠图网站 
https://www.remove.bg/ 将iconfont转成css显示 
https://transfonter.org/ 免费的在线图片压缩 
https://tinypng.com/ JSON在线格式化工具 
https://www.sojson.com/ 国内人工智能kimi.moonshot工具 
https://kimi.moonshot.cn/chat/crft7a6sdv14grouufs0 自动…




阅读更多...

















当人工智能聊天机器人出现问题时








当人工智能聊天机器人出现问题时




在快速发展的人工智能领域&#xff0c;出现了一项新的挑战。“人工智能私语者”正在通过说服行为良好的聊天机器人打破自己制定的规则来探索人工智能伦理的界限。 
这些漏洞被称为即时注入或“越狱”&#xff0c;它们暴露了人工智能系统的漏洞&#xff0c;引发了人们对其安全性…




阅读更多...

















基于SpringBoot+Vue+MySQL的教学资源共享平台








基于SpringBoot+Vue+MySQL的教学资源共享平台




系统展示 用户前台界面 管理员后台界面 系统背景 随着信息技术的迅猛发展&#xff0c;教育领域对高效、便捷的教学资源需求日益增长。传统教学模式已难以满足当前教育的多样化需求&#xff0c;特别是在资源共享与利用方面存在明显不足。因此&#xff0c;构建一个基于SpringBoot…




阅读更多...

















OPENAIGC开发者大赛企业组AI黑马奖 | 包你面-AI面试助手








OPENAIGC开发者大赛企业组AI黑马奖 | 包你面-AI面试助手




在第二届拯救者杯OPENAIGC开发者大赛中&#xff0c;涌现出一批技术突出、创意卓越的作品。为了让这些优秀项目被更多人看到&#xff0c;我们特意开设了优秀作品报道专栏&#xff0c;旨在展示其独特之处和开发者的精彩故事。 无论您是技术专家还是爱好者&#xff0c;希望能带给您…




阅读更多...

















HashTable哈希表








HashTable哈希表




概念 
散列表(Hash Table)&#xff0c;又称哈希表。是一种数据结构&#xff0c;特点是:数据元素的关键字与其存储地址直接相关 在顺序结构以及树型结构中&#xff0c;数据元素的关键字与其存储位置没有对应的关系&#xff0c;因此在查找一个元素时&#xff0c;必须要经过关键码…




阅读更多...

















【Python篇】PyQt5 超详细教程——由入门到精通（序篇）








【Python篇】PyQt5 超详细教程——由入门到精通（序篇）




文章目录 PyQt5 超详细入门级教程前言序篇&#xff1a;1-3部分&#xff1a;PyQt5基础与常用控件第1部分&#xff1a;初识 PyQt5 和安装1.1 什么是 PyQt5&#xff1f;1.2 在 PyCharm 中安装 PyQt51.3 在 PyCharm 中编写第一个 PyQt5 应用程序1.4 代码详细解释1.5 在 PyCharm 中运…




阅读更多...

















《论面向服务架构设计及其应用》写作框架，软考高级系统架构设计师








《论面向服务架构设计及其应用》写作框架，软考高级系统架构设计师




论文真题 
面向服务架构（Service-Oriented Architecture, SOA） 是一种应用框架，将日常的业务应用划分为单独的业务功能服务和流程，通过采用良好定义的接口和标准协议将这些服务关联起来。通过实施基于SOA的系统架构，用户可以构建、部署和整合服务，无需依赖应用程序及其运…




阅读更多...

















计算机毕业设计选题推荐-在线拍卖系统-Java/Python项目实战








计算机毕业设计选题推荐-在线拍卖系统-Java/Python项目实战




✨作者主页&#xff1a;IT毕设梦工厂✨ 个人简介&#xff1a;曾从事计算机专业培训教学&#xff0c;擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Py…




阅读更多...

















CCDO|数据跃动未来：首席数据官如何引领构建活数据引擎








CCDO|数据跃动未来：首席数据官如何引领构建活数据引擎




在数字化浪潮汹涌澎湃的今天&#xff0c;数据已成为企业最宝贵的资产之一&#xff0c;它不仅记录着过去&#xff0c;更预示着未来的方向。随着大数据、人工智能、云计算等技术的飞速发展&#xff0c;数据的潜力被前所未有地激发&#xff0c;而首席数据官&#xff08;CDO&#x…




阅读更多...


















最新文章












推荐文章


















Copyright @ 2022~2023