C++ 音视频原理

本篇文章我们来描述一下音视频原理

音视频录制原理:

下面是对这张思维导图的介绍

摄像头部分:

麦克风采集声音摄像头采集画面

摄像头采集回来的数据可以用RGB也可以用YUV来表示

图像帧帧率一秒能处理多少张图像

图像处理：调亮度

图像帧队列 :意思是将数据取出来储存在图像帧队列里面等着编码器将数据取出来进行编码处理进行压缩

视频编码将视频体积大变成小的精简的

视频包队列:压缩好的（编程好的）音频作为音频包队列然后按照一定的规则封装成文件

麦克风部分:

麦克风采集声音摄像头采集画面

采样帧 :PCM 采集多少数据作为一帧来压缩

音频处理：类似于变声器的概念变音

采样帧队列：把数据放到队列里面等待音频编码线程来读取

音频编码：声音也要进行压缩将声音进行压缩

音频包队列：压缩完的声音队列

复用器:音视频队列都按照一定的规则写到文件里面去

时钟用于将音视频同步(相同的时间戳) 如果没有音视频同步还怎么看视频

音视频播放原理:

下面是对这个思维导图的介绍:

解复用器:将媒体文件分离成音频包队列和视频包队列根据媒体文件的相应的规则来分离比如媒体文件是mp4规则就用mp4规则来分离

音频包队列意思就是说音频消息的存储为二进制等待解码

音频包队列意思就是说视频消息的存储为二进制等待解码

放在帧队列然后时钟音视频同步（注意是逐帧播放）

音视频原理代码实例:

#include <opencv2/opencv.hpp>int main() {cv::VideoCapture cap(0); // 打开默认摄像头if (!cap.isOpened()) {std::cerr << "无法打开摄像头" << std::endl;return -1;}int frameWidth = cap.get(cv::CAP_PROP_FRAME_WIDTH);int frameHeight = cap.get(cv::CAP_PROP_FRAME_HEIGHT);cv::VideoWriter writer("output.avi", cv::VideoWriter::fourcc('M', 'J', 'P', 'G'), 25.0, cv::Size(frameWidth, frameHeight));if (!writer.isOpened()) {std::cerr << "无法创建视频文件" << std::endl;return -1;}while (true) {cv::Mat frame;cap >> frame; // 从摄像头读取帧writer.write(frame); // 写入视频文件cv::imshow("Video", frame); // 显示实时视频if (cv::waitKey(1) == 'q') { // 按下'q'键退出循环break;}}cap.release(); // 释放摄像头资源writer.release(); // 关闭视频文件return 0;
}