协议-RK-Gstreamer

文档链接说明

主要文档链接
4. Gstreamer工具以及MPP插件 — 快速使用手册—基于LubanCat-RK356x系列板卡文档
常用命令
GStreamer命令行工具gst-play-1.0的全面指南与用法-CSDN博客

是什么？

GStreamer是一个开源的多媒体框架，用于构建音频和视频处理应用程序
GStreamer 的核心是基于管道（pipeline）的架构
- 通过将多媒体处理的各个步骤串联起来，实现复杂的媒体处理任务

为什么？

为什么有ffmpeg的前提下，还要使用GStreamer？

在某些情况下，GStreamer 会比 FFmpeg 更适合特定的需求
- FFmpeg 是一个功能强大的单体框架，主要专注于媒体的编解码、转码和流处理
- GStreamer适合构建复杂的媒体处理管道，如视频会议、实时流媒体处理和视频编辑

功能	FFmpeg	GStreamer
核心架构	Monolithic	模块化，基于管道线
易用性	使用 CLI 更容易完成简单的媒体任务	需要更多设置，但管道灵活
编解码器支持	广泛的编解码器支持，几乎涵盖所有编解码器	功能强大，但通常需要额外的插件
使用案例	媒体转换、流媒体	转码、实时流媒体、媒体应用
模块化	模块化程度低，围绕特定命令构建	模块化程度高，可定制组件
插件系统	有限的插件系统，主要集中于编解码器	广泛的插件系统，用于自定义处理
实时处理	可以，但不直观	专为实时流媒体和处理而设计
跨平台	是（Linux、Windows、macOS 等）	是（Linux、Windows、macOS 等）
复杂性	对于简单的任务来说更简单	对于复杂的自定义媒体工作流程来说更好
许可	LGPL 或 GPL（取决于配置）	LGPL
开发者社区	庞大、活跃、被广泛采用	活跃，但规模小于 FFmpeg

怎么做？

sudo add-apt-repository ppa:george-coolpi/multimedia
sudo apt updatesudo apt-get install gstreamer1.0-rockchip# 测试是否安装成功gst-inspect-1.0 mppvideodec

核心本质

本质就三个核心命令，两个名词

命令
插件

gst-launch-1.0
gst-play-1.0
gst-inspect-1.0

常用命令

gst-launch-1.0

gst-launch-1.0 构建数据流管道，以处理音频和视频数据，进行实时流处理、编码、解码、转码等操作

gst-launch-1.0 -v imxv4l2src device=/dev/video1 ! "video/x-raw, format=(string)YUY2, width=(int)1024, height=(int)768, framerate=(fraction)30/1" ! imxv4l2sink

gst-play-1.0

gst-play-1.0 播放本地文件或流式媒体

# 播放test.mp4，并通过xvimagesink显⽰
gst-play-1.0 test.mp4 --videosink=xvimagesink

gst-inspect-1.0

gst-inspect-1.0 用于查看 GStreamer 中可用的插件、元素和它们的属性

# 列出xvimagesink插件的所有信息
gst-inspect-1.0 xvimagesink

常⽤插件

Source

Source插件用于生成和提供媒体数据流。
它们可以从不同的数据源读取音频或视频，比如文件、网络、设备等。
常见的Source插件包括文件源（如 filesrc）、网络源（如 tcpserversrc）、设备源（如 v4l2src）

filesrc videotestsrc v4l2src

#读取/tmp/test文件数据 到/tmp/test2
gst-launch-1.0 filesrc location=/tmp/test ! filesink location=/tmp/test2# 使⽤videotestsrc按照指定格式⽣成视频数据，并通过xvimagesink显⽰
gst-launch-1.0 videotestsrc ! "video/x-raw,width=1920,height=1080,format=(string)NV12" ! xvimagesink#从v4l2src获取摄像头视频数据，通过device属性指定摄像头，按照指定格式输出视频通过xvimagesink显⽰
gst-launch-1.0 v4l2src device=/dev/video0 ! video/x-raw,width=1920,height=1080,format=NV12 ! xvimagesink

rtspsrc rtspclientsink

rtspsrc：它可以从RTSP服务器拉取RTSP音视频流，并将其传递给管道的下游元素进行处理
rtspclientsink：用于将处理后的音视频流发送到RTSP服务器

#安装插件
sudo apt install gstreamer1.0-rtsp

Sink

GStreamer的Sink插件用于接收和处理媒体数据流
通常用于输出到不同的目标，例如文件、音频设备、视频显示等。
常见的Sink插件包括文件接收器（如filesink）、音频输出（如 alsasink）、视频显示（如 ximagesink）

filesink fakesink

#读取/tmp/test文件数据到/tmp/test2
gst-launch-1.0 filesrc location=/tmp/test ! filesink location=/tmp/test2#将收到的/tmp/test数据全部丢弃
gst-launch-1.0 filesrc location=/tmp/test ! fakesink

xvimagesink kmssink waylandsink rkximagesink

#接收videotestsrc视频并通过xvimagesink显⽰，使⽤X11接口实现
gst-launch-1.0 videotestsrc ! xvimagesink
# 使⽤kms接口实现
gst-launch-1.0 videotestsrc ! kmssink
# 使⽤wayland接口实现
gst-launch-1.0 videotestsrc ! waylandsink
# 使⽤drm接口实现零拷⻉
gst-launch-1.0 videotestsrc ! rkximagesink

fpsdisplaysink

播放 test.mp4 文件
视频使用 xvimagesink 渲染并显示帧率
音频使用第二个声卡输出，且视频播放不与音频同步

gst-play-1.0 --flags=3 --videosink="fpsdisplaysink video-sink=xvimagesink signal-fps-measurements=true text-overlay=false sync=false" --audiosink="alsasink device=hw:1,0" test.mp4

--flags=3：表示同时启用视频和音频播放，关闭字幕
--videosink="fpsdisplaysink video-sink=xvimagesink signal-fps-measurements=true text-overlay=false sync=false"：这个参数指定了视频输出的处理方式：
- fpsdisplaysink：这是一个特殊的视频接收器，用于显示帧率（FPS）
- video-sink=xvimagesink：指定使用 xvimagesink 作为视频渲染的后端
- signal-fps-measurements=true：启用帧率测量信号，这允许 fpsdisplaysink 显示当前的帧率。
- text-overlay=false：禁用文本覆盖，即不在视频上显示帧率文本。
- sync=false：设置为 false 表示视频播放不与音频同步。
--audiosink="alsasink device=hw:1,0"：这个参数指定了音频输出的处理方式：
- alsasink：指定使用 ALSA（Advanced Linux Sound Architecture）作为音频输出后端。
- device=hw:1,0：指定使用特定的 ALSA 设备。hw:1,0 表示使用第二个声卡的第一个子设备。
test.mp4：这是要播放的视频文件的名称。

Rockchip MPP插件

基于Gstreamer原有GstVideoDecoder类和GstVideoEncoder类开发
默认系统已经安装mpp插件

#查看mpp插件
gst-inspect-1.0 | grep mpp#信息输出如下
rockchipmpp:  mpph264enc: Rockchip Mpp H264 Encoder
rockchipmpp:  mpph265enc: Rockchip Mpp H265 Encoder
rockchipmpp:  mppvp8enc: Rockchip Mpp VP8 Encoder
rockchipmpp:  mppjpegenc: Rockchip Mpp JPEG Encoder
rockchipmpp:  mppvideodec: Rockchip's MPP video decoder
rockchipmpp:  mppjpegdec: Rockchip's MPP JPEG image decoder

gstmppdec 命令

包含插件mppvideodec，mppjpegdec

gstmppenc 命令

包含插件mpph264enc，mppvp8enc，mppjpegenc等

AFBC(ARM Frame Buffer Compression)

AFBC全称ARM Frame Buffer Compression，是⼀种压缩格式，⽤于节省带宽。
⽬前mppvideodec插件⽀持AFBC的编码格式有：H264，H265，VP9
⽀持的⾊彩格式有NV12，NV12 10bit，NV16

效果对比

没有开启AFBC时，帧率在45-50帧
开启AFBC时测试帧率在69-75帧

# 开启全局AFBC，适⽤于使⽤gst-play-1.0等⽆法直接操作mppvideodec的情况
export GST_MPP_VIDEODEC_DEFAULT_ARM_AFBC=1# 单独开启AFBC
gst-launch-1.0 filesrc location=test.mp4 ! parsebin ! mppvideodec arm-afbc=true \
! waylandsink

#通过fpsdisplaysink获取帧率
GST_DEBUG=fpsdisplaysink:7 gst-play-1.0 --flags=3 --videosink="fpsdisplaysink \
video-sink=xvimagesink signal-fps-measurements=true text-overlay=false  \
sync=false" test.mp4

GST_DEBUG=fpsdisplaysink:7：
- fpsdisplaysink:7 级别 7 表示最高级别的调试信息，会输出大量的调试数据。

与RTSP融合

本地推流/拉流

测试USB摄像头，摄像头接口为device=/dev/video9
需要先运行接收端命令，然后再运行服务端（注意如果是ssh需要指定export DISPLAY=:0环境变量）

#板卡接收端
gst-launch-1.0 udpsrc port=1234 ! "application/x-rtp, payload=96" ! rtph264depay ! decodebin ! autovideosink sync=false

接收端，命令通过udpsrc从指定的端口（1234）接收RTP数据流，使用rtph264depay解封装RTP数据，接着通过decodebin解码视频流，最后将解码后的视频输出到自动选择的视频窗口（autovideosink）

#板卡服务端测试1
gst-launch-1.0 v4l2src device=/dev/video9  !  video/x-raw,width=640,height=480,framerate=30/1 ! videoconvert ! video/x-raw,format=UYVY !  mpph264enc ! queue ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=1234

服务端测试1：使用v4l2src直接捕获原始视频流，输出为YUYV格式，并进行H.264编码，然后通过rtph264pay封装成RTP数据包，最后使用udpsink将数据推送到指定的地址（127.0.0.1:1234）

#板卡服务端测试2
gst-launch-1.0 v4l2src device=/dev/video9  ! image/jpeg !  mppjpegdec ! videoconvert ! video/x-raw,height=1080,width=1920,frame=30/1,format=NV12 !  mpph264enc ! queue ! h264parse ! rtph264pay ! udpsink host=127.0.0.1 port=1234

服务端测试2：同样使用v4l2src，但输入的是JPEG格式的图像，通过解码后再转换成NV12格式，并进行H.264编码，然后通过rtph264pay封装成RTP数据包，最后使用udpsink将数据推送到指定的地址（127.0.0.1:1234）。

RTSP推流/拉流

推流前需要启动RTSP服务器，需要运行mediamtx
访问： mediamtx，下载mediamtx_vx.x.x_linux_arm64v8.tar.gz
将mediamtx_v1.9.1_linux_arm64v8.tar.gz传到板卡解压并运行

#运行mediamtx
sudo ./mediamtx &

将视频流发送到RTSP服务器，简单⽰例

gst-launch-1.0 v4l2src device=/dev/video9  ! image/jpeg !  mppjpegdec ! videoconvert ! video/x-raw,height=1080,width=1920,frame=30/1,format=NV12 ! tee name=t \
t. ! queue ! videoconvert ! autovideosink \
t. ! videoconvert ! mpph264enc ! queue ! h264parse  ! rtspclientsink location=rtsp://127.0.0.1:8554/live

从RTSP服务器中获取视频流

#指定为实际推流板卡ip
gst-launch-1.0 rtspsrc location=rtsp://192.168.103.101:8554/live ! rtph264depay ! h264parse ! mppvideodec ! xvimagesink

协议-RK-Gstreamer

文档链接说明

是什么？

为什么？

怎么做？

核心本质

常用命令

gst-launch-1.0

gst-play-1.0

gst-inspect-1.0

常⽤插件

Source

Sink

Rockchip MPP插件

更多命令(Rockchip MPP插件)

多路视频播放 render-rectangle

编码预览 tee

拆分码流 qtdemux

AFBC(ARM Frame Buffer Compression)

与RTSP融合

本地推流/拉流

RTSP推流/拉流

相关文章