（一）ffmpeg 入门基础知识

一、ffmpeg

FFmpeg是一套强大的开源音视频处理工具，能够录制、转换以及流化音视频内容。

FFmpeg是开源的，这意味着它的源代码是公开的，允许任何人使用、修改和分发。它提供了录制、转换以及流化音视频的完整解决方案，支持多种格式。具体来说：

录制：FFmpeg可以用于录制音频和视频。例如，它可以从各种设备（如摄像头或麦克风）捕获音频和视频，并将其保存到文件中。
转换：FFmpeg可以转换音频和视频文件的格式。这包括改变编码、分辨率、比特率等。这使得它非常有用于处理不同设备和平台之间的兼容性问题。
流化：FFmpeg能够将音频和视频流化为多种协议和格式，这对于在线直播和实时传输非常重要。

此外，它还包含了一些其他的功能，如图片处理（调整大小、去噪等），并且可以打包、传输及播放视频。由于其强大的功能和灵活性，FFmpeg被广泛应用于多媒体数据处理领域，无论是在学术研究、商业应用还是个人使用中，都有着广泛的需求。

二、ffmpeg基础知识

1.编码器与解码器

FFmpeg提供了多种编码器和解码器来处理不同的音视频格式，例如H.264、MPEG-4、AAC等。可以使用avcodec_find_encoder和avcodec_find_decoder函数查找可用的编码器和解码器，并使用avcodec_open2函数打开需要使用的编码器或解码器。

2.格式封装与解封装

FFmpeg可以处理多种音视频文件格式，例如MP4、AVI、WAV等。它使用封装格式来将音视频流打包到一个容器中。常见的封装格式有MP4、AVI、FLV、MKV等。可以使用avformat_open_input函数打开音视频文件，并使用av_read_frame函数读取文件中的音视频数据。

3.帧与数据包

在FFmpeg中，音视频数据被组织成帧和数据包。音频数据通常被组织成PCM数据，每个样本对应一帧数据；而视频数据则被组织成一系列关键帧和非关键帧。

4.协议

FFmpeg可以处理不同的音视频流传输协议，例如RTSP、RTMP、HTTP等。可以使用avformat_open_input函数打开网络音视频流，并使用av_read_frame函数读取数据包。

三、ffmpeg常用库

1.libavcodec：这是FFmpeg中最重要的库之一，负责音频和视频的编解码。它提供了多种格式的编解码器，使得FFmpeg能够处理各种多媒体数据。

2.libavformat：这个库主要用于处理多媒体容器格式，例如MP4、AVI、FLV等。它负责解析和生成多媒体文件的元数据，以及管理流的映射表。

3.libavutil：这是一个实用程序库，提供了一系列辅助功能，如字符串处理、随机数生成、数据结构、加密和多媒体相关功能。它旨在模块化，减少相互依赖性，并且具有较低的CPU和内存使用率。

4.libswscale：用于图像缩放和颜色空间转换的库，它可以实现图像的大小调整和色彩空间的转换。

四、ffmpeg和ffplay

FFmpeg是一个音视频处理工具，而FFplay是其内置的轻量级多媒体播放器。以下是对两者的具体介绍：

FFmpeg：这是一个开源且跨平台的音视频处理工具，它提供了用于转码、剪辑和流化音视频的命令行工具。FFmpeg支持多种音视频格式，并且可以通过编译源代码在多种操作系统上运行。它的功能强大，被广泛应用于音视频编辑、转换和流媒体传输等领域。

FFplay：作为FFmpeg项目的一部分，FFplay是一个简单实用的音视频播放器。它是一个轻量级的播放器，能够播放大多数音频和视频格式。尽管它的功能可能不如专业的媒体播放器全面，但它的优势在于简洁性和与FFmpeg的良好集成，使得用户可以方便地播放和检查由FFmpeg处理的媒体文件。

总的来说，FFmpeg主要用于音视频的处理和转换，而FFplay则提供了一个简易的播放解决方案，两者都是多媒体处理领域的重要工具。

五、rtsp和rtmp

RTMP（Real-Time Messaging Protocol）和RTSP（Real Time Streaming Protocol）是两种常用于实时流媒体传输的网络协议，它们有一些区别和适用范围：

1.RTMP（Real-Time Messaging Protocol）：

RTMP是一种实时消息传递协议，最初由Adobe Systems设计用于在Flash播放器和流媒体服务器之间传输音频、视频和数据。它以二进制形式传输数据，通常使用TCP连接，但也可以使用UDP或WebSocket。
RTMP在流媒体领域中具有一定的历史地位，特别是在Flash技术流行的时期，它是最常见的流媒体传输协议之一。然而，随着HTML5的发展和Flash技术的逐渐淘汰，RTMP的使用逐渐减少。