ExoPlayer架构详解与源码分析（9）——TsExtractor

系列文章目录

ExoPlayer架构详解与源码分析（1）——前言
ExoPlayer架构详解与源码分析（2）——Player
ExoPlayer架构详解与源码分析（3）——Timeline
ExoPlayer架构详解与源码分析（4）——整体架构
ExoPlayer架构详解与源码分析（5）——MediaSource
ExoPlayer架构详解与源码分析（6）——MediaPeriod
ExoPlayer架构详解与源码分析（7）——SampleQueue
ExoPlayer架构详解与源码分析（8）——Loader
ExoPlayer架构详解与源码分析（9）——TsExtractor

文章目录

  • 系列文章目录
  • 前言
  • TsExtractor
  • TsDurationReader
  • SectionReader
  • PatReader
  • PmtReader
  • DefaultTsPayloadReaderFactory
  • PesReader
  • 总结

前言

上篇说完了Extractor的整体结构，本篇将详细讲解Extractor的实现，主要通过TsExtractor这个实现类来讲解，顾名思义TsExtractor是用于TS容器格式的解析器。

TS（Transport Stream，传输流）是一种封装的格式，它的全称为MPEG2-TS。

MPEG组织于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性，MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定。在MPEG-2标准中，为了将一个或更多的音频、视频或其他的基本数据流合成单个或多个数据流，以适应于存储和传送，必须对其重新进行打包编码，在码流中还需插入各种时间标记、系统控制等信息，最后送到信道编码与调制器。这样可以形成两种数据流——传送流（TS）和节目流（PS），分别适用于不同的应用。

MPEG2-TS是一种标准数据容器格式，传输与存储音视频、节目与系统信息协议数据，主要应用于数字广播系统，譬如DVB、ATSC与IPTV。TS流是将视频、音频、PSI等数据打包成传输包进行传送。其整体的设计充分考虑了传输过程中的丢包，数据干扰等问题，特别适合用于节目传输。

科普时间结束，回归主线，看下ExoPlayer 是如何解析TS结构的

TsExtractor

在看ExoPlayer 源码前，必须先来了解下TS的整体结构，然后再结合源码，看下ExoPlayer是如何实现TS的解析的。
首先看下TS容器的结构（网图，侵删）。
（网图，侵删）
可以看到每个TS包大小为188，包含一个header和payload，这种固定块大小的结果特别适合网络传输的场景，运用的也比较多。

  • header

    名称大小(b)说明
    sync_byte8同步标记占1个字节，固定为0x47，当解析器读取到这个字节的时候就知道这是一个包开始位置
    transport_error_indicator1传输错误指示符，1’表示在相关的传输包中至少有一个不可纠正的错误位。当被置1后，在错误被纠正之前不能重置为0
    payload_unit_start_indicator1负载单元起始标示符，一个完整的数据包开始时标记为1
    transport_priority1传输优先级，0为低优先级，1为高优先级，通常取0
    pid13包的 ID，用于区分不同的包，注意这个不是唯一的，可能相同类型的包都对应同一个PID，其中PID有几个固定值用于指定类型的包，如PAT包固定值为0x0000
    transport_scrambling_control2传输加扰控制，00表示未加密
    adaptation_field_control2是否包含自适应区，‘00’保留；‘01’为无自适应域，仅含有效负载；‘10’为仅含自适应域，无有效负载；‘11’为同时带有自适应域和有效负载。
    continuity_counter4递增计数器，从0-f，起始值不一定取0，但必须是连续的，随着每一个具有相同PID的TS流分组而增加，当它达到最大值后又回复到0。范围为0~15。接收端可判断是否有包丢失及包传送顺序错误
    adaptation_field_length8自适应域长度,包含在上图的PRC分段中
    flag8取0x50表示包含PCR或0x40表示不包含PCR,包含在上图的PRC分段中
    PCR40Program Clock Reference，节目时钟参考，用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。可以理解为当前包的时间戳，时间戳一般是以90 kHz 为单位的时间戳，所以转化成正常时间戳得除以90000,这段同样包含在上图的PRC分段中

  • payload
    payload里主要包含2种类型数据PES和PSI(Program Specific Information:由对于传输流的多路分解以及节目成功再现所必要的标准数据组成)
    PSI 可以认为属于 6 个表：

    1. 节目相关表（PAT）
    2. TS 节目映射表（PMT）
    3. 网络信息表（NIT）
    4. 有条件访问表（CAT）
    5. 传输流描述表
    6. IPMP 控制信息表。

    主要介绍下下面3种

    • PAT表，包头的PID固定为0x0000，包含一个header和一个body，一个payload前3字节为header，包含了body的长度，后面则为body，主要列出所有的PMT表ID，可以通过它确定哪些PID的包是PMT表主要要来查询PMT，下面是PAT的表结构，section_length前为header，后面的属于body

      名称大小(b)说明
      table_id8PAT表固定为0x00
      section_syntax_indicator1固定为1
      zero1固定为0
      reserved2固定为11
      section_length12后面数据的长度
      transport_stream_id16传输流ID，固定为0x0001
      reserved2固定为11
      version_number5版本号，固定为00000，如果PAT有变化则版本号加1
      current_next_indicator1固定为1，表示这个PAT表可以用，如果为0则要等待下一个PAT表
      section_number8固定为0x00
      last_section_number8固定为0x00
      开始循环
      program_number16为0x0000时表示这是NIT网络信息表，节目号为0x0001时,表示这是PMT
      reserved3固定为111
      PID13PAT对应PMT的包PID值
      结束循环
      CRC3232前面数据的CRC32校验码

    • PMT表，包头的PID不固定，需要通过PAT获取，主要列出了包含的所有流类型及其对于的PID，通过它可以确定当前的包对应的是哪种流，然后针对性的解析，下面是PMT的表结构

      名称大小(b)说明
      table_id8PMT表固定为0x02
      section_syntax_indicator1固定为1
      zero1固定为0
      reserved2固定为11
      section_length12后面数据的长度
      program_number16频道号码，表示当前的PMT关联到的频道，取值0x0001
      reserved2固定为11
      version_number5版本号，固定为00000，如果PAT有变化则版本号加1
      current_next_indicator1固定为1
      section_number8固定为0x00
      last_section_number8固定为0x00
      reserved3固定为111
      PCR_PID13PCR(节目参考时钟)所在TS分组的PID，指定为视频PID
      reserved3固定为111
      program_info_length12描述信息，指定为0x000表示没有
      开始循环
      stream_type8流类型，标志是Video还是Audio还是其他数据，h.264编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03
      reserved3固定为111
      elementary_PID13与stream_type对应的PID
      reserved4固定为1111
      ES_info_length12描述信息，指定为0x000表示没有
      结束循环
      CRC3232前面数据的CRC32校验码

    • PES 用于承载基本流数据的数据结构，可以理解成具体的媒体流数据，同样包含header和body，看下包结构图
      在这里插入图片描述
      PES的Header结构很复杂，这里我们说明下重要的几个

      名称大小(b)说明
      packet_start_code_prefix24固定为0x000001，同跟随它的 stream_id 一起组成标识包起始端的包起始码
      stream_id16流ID，音频取值（0xc0-0xdf），通常为0xc0视频取值（0xe0-0xef），通常为0xe0具体参照ISO/IEC 13818-1 2.4.3.7
      PES_packet_length24后面pes数据的长度，0表示长度不限制，只有视频数据长度会超过0xffff
      PTS_DTS_flags2当 PTS_DTS_flags 字段设置为‘10’时，PES 包头中 PTS 字段存在。设置为‘11’时，PES 包头中 PTS 字段和 DTS 字段均存在。设置为‘00’时，PES 包头中既无任何 PTS 字段也无任何 DTS 字段存在。值‘01’禁用
      PES_header_data_length8额外包含的数据长度，包含的PTS或者DTS数据
      PTS33presentation time stamp，显示时间戳，具体参考ISO/IEC 13818-1 2.4.3.7
      DTS33decoding time stamp，解码时间戳，具体参考ISO/IEC 13818-1 2.4.3.7

好了有了上面的知识，我们一起来看下源码是如何解析的
首先从初始化看起

public TsExtractor(@Mode int mode, @Flags int defaultTsPayloadReaderFlags, int timestampSearchBytes) {this(mode,new TimestampAdjuster(0),//创建默认的payload的解析工厂类new DefaultTsPayloadReaderFactory(defaultTsPayloadReaderFlags),timestampSearchBytes);}public TsExtractor(@Mode int mode,TimestampAdjuster timestampAdjuster,TsPayloadReader.Factory payloadReaderFactory,int timestampSearchBytes) {
...//初始化缓存数据大小为50个TS包大小tsPacketBuffer = new ParsableByteArray(new byte[BUFFER_SIZE], 0);
...//用于从PRC中计算时长durationReader = new TsDurationReader(timestampSearchBytes);
...resetPayloadReaders();}//初始化payload解析器private void resetPayloadReaders() {trackIds.clear();tsPayloadReaders.clear();SparseArray<TsPayloadReader> initialPayloadReaders =payloadReaderFactory.createInitialPayloadReaders();int initialPayloadReadersSize = initialPayloadReaders.size();//添加初始化默认的解析器，如果没有自定义工厂会使用DefaultTsPayloadReaderFactory此时不包含任何初始化的解析器for (int i = 0; i < initialPayloadReadersSize; i++) {tsPayloadReaders.put(initialPayloadReaders.keyAt(i), initialPayloadReaders.valueAt(i));}//添加包头PAT解析器tsPayloadReaders.put(TS_PAT_PID, new SectionReader(new PatReader()));id3Reader = null;}

看下初始化后调用的第一个方法，主要用来确定当前Extractor是否适用

  //在确定使用哪种解析器时会先调用Extractor.sniff决定当前解析器是否可以用于解析，上文中也提到了调用点@Overridepublic boolean sniff(ExtractorInput input) throws IOException {byte[] buffer = tsPacketBuffer.getData();input.peekFully(buffer, 0, TS_PACKET_SIZE * SNIFF_TS_PACKET_COUNT);//填充5*118个数据for (int startPosCandidate = 0; startPosCandidate < TS_PACKET_SIZE; startPosCandidate++) {// Try to identify at least SNIFF_TS_PACKET_COUNT packets starting with TS_SYNC_BYTE.boolean isSyncBytePatternCorrect = true;//是否有5个0x47字节连续的间隔188的数据for (int i = 0; i < SNIFF_TS_PACKET_COUNT; i++) {if (buffer[startPosCandidate + i * TS_PACKET_SIZE] != TS_SYNC_BYTE) {isSyncBytePatternCorrect = false;break;}}if (isSyncBytePatternCorrect) {input.skipFully(startPosCandidate);return true;}}return false;}

然后就开始执行主要的方法read

@Overridepublic @ReadResult int read(ExtractorInput input, PositionHolder seekPosition)throws IOException {long inputLength = input.getLength();if (tracksEnded) {//所有PMT表都解析完 tracksEnded//如果tracksEnded了，此时数据的总长度已知，且不为HLS（hls有多个ts，时长记录在m3u8文件里）boolean canReadDuration = inputLength != C.LENGTH_UNSET && mode != MODE_HLS;if (canReadDuration && !durationReader.isDurationReadFinished()) {//开始读取时长，后面会具体讲到读取方式return durationReader.readDuration(input, seekPosition, pcrPid);}//输出SeekMap表，这里保存播放时间戳和数据位置的对应关系，可以通过时间戳快速定位到数据位置//这里不深入了maybeOutputSeekMap(inputLength);//是否从头开始，这里作用是当Tarck信息解析完毕的时候会返回RESULT_SEEK//回到上面讲的外循环再次从头加载数据if (pendingSeekToStart) {pendingSeekToStart = false;seek(/* position= */ 0, /* timeUs= */ 0);if (input.getPosition() != 0) {seekPosition.position = 0;return RESULT_SEEK;}}if (tsBinarySearchSeeker != null && tsBinarySearchSeeker.isSeeking()) {return tsBinarySearchSeeker.handlePendingSeek(input, seekPosition);}}//读取至少一段Ts包if (!fillBufferWithAtLeastOnePacket(input)) {return RESULT_END_OF_INPUT;}//从上次读取位置查找第一个包的结束位置int endOfPacket = findEndOfFirstTsPacketInBuffer();int limit = tsPacketBuffer.limit();//如果超过limit，其实就是包不足188字节，这里会继续加载if (endOfPacket > limit) {return RESULT_CONTINUE;}@TsPayloadReader.Flags int packetHeaderFlags = 0;// Note: See ISO/IEC 13818-1, section 2.4.3.2 for details of the header format.//读取4字节，也就是包头的长度int tsPacketHeader = tsPacketBuffer.readInt();if ((tsPacketHeader & 0x800000) != 0) { // 获取transport_error_indicator不等0，也就是这个包有问题// There are uncorrectable errors in this packet.tsPacketBuffer.setPosition(endOfPacket);//跳过当前包return RESULT_CONTINUE;}//获取payload_unit_start_indicator位，负载单元起始标示符，一个完整的数据包开始时标记为1packetHeaderFlags |= (tsPacketHeader & 0x400000) != 0 ? FLAG_PAYLOAD_UNIT_START_INDICATOR : 0;// Ignoring transport_priority (tsPacketHeader & 0x200000)获取包PID， &111111111111100000000取4到16位，右移8位去除后8位int pid = (tsPacketHeader & 0x1FFF00) >> 8;// Ignoring transport_scrambling_control (tsPacketHeader & 0xC0)//获取adaptation_field_control第1位，判断adaptationField是否存在boolean adaptationFieldExists = (tsPacketHeader & 0x20) != 0;//获取adaptation_field_control第2位，判断paload是否存在boolean payloadExists = (tsPacketHeader & 0x10) != 0;//由于默认只设置了PAT的解析器，所以第一次只有当PID为0时才能获取到解析器TsPayloadReader payloadReader = payloadExists ? tsPayloadReaders.get(pid) : null;if (payloadReader == null) {//不存在payload，跳过当前包tsPacketBuffer.setPosition(endOfPacket);return RESULT_CONTINUE;}// 检查连续性if (mode != MODE_HLS) {//获取continuity_counter字节int continuityCounter = tsPacketHeader & 0xF;//获取上一个计数int previousCounter = continuityCounters.get(pid, continuityCounter - 1);continuityCounters.put(pid, continuityCounter);if (previousCounter == continuityCounter) {// 相同的counter可能是重传的数据直接跳过tsPacketBuffer.setPosition(endOfPacket);return RESULT_CONTINUE;} else if (continuityCounter != ((previousCounter + 1) & 0xF)) {// 非连续性的数据，可能发生了丢包或者seek，通知解析器包不连续重置相关标记位payloadReader.seek();}}// 如果存在adaptationField跳过if (adaptationFieldExists) {//获取adaptation_field_length用于跳过相应数据int adaptationFieldLength = tsPacketBuffer.readUnsignedByte();int adaptationFieldFlags = tsPacketBuffer.readUnsignedByte();packetHeaderFlags |=(adaptationFieldFlags & 0x40) != 0 // random_access_indicator.? TsPayloadReader.FLAG_RANDOM_ACCESS_INDICATOR: 0;tsPacketBuffer.skipBytes(adaptationFieldLength - 1 /* flags */);}// 开始读取payloadboolean wereTracksEnded = tracksEnded;if (shouldConsumePacketPayload(pid)) {tsPacketBuffer.setLimit(endOfPacket);//设置解析结束位置//将数据喂给相应解析器，第一次consume的解析器肯定为PAT解析器，接下来会分析payloadReader.consume(tsPacketBuffer, packetHeaderFlags);tsPacketBuffer.setLimit(limit);}//非HLS，track完成（PMT已经读取），且长度已知（非直播流）if (mode != MODE_HLS && !wereTracksEnded && tracksEnded && inputLength != C.LENGTH_UNSET) {//重新开始再读一遍，因为有可能有些媒体数据在PTM等轨道信息数据之前pendingSeekToStart = true;}tsPacketBuffer.setPosition(endOfPacket);return RESULT_CONTINUE;}

在分析PAT解析器前这里加个插曲，讲下上面说到的TsDurationReader，看下ExoPlayer是如何计算视频时长的。

TsDurationReader

直入主题readDuration

public @Extractor.ReadResult int readDuration(ExtractorInput input, PositionHolder seekPositionHolder, int pcrPid) throws IOException {if (pcrPid <= 0) {return finishReadDuration(input);}if (!isLastPcrValueRead) {return readLastPcrValue(input, seekPositionHolder, pcrPid);//获取最后一个PCR的值}if (lastPcrValue == C.TIME_UNSET) {return finishReadDuration(input);}if (!isFirstPcrValueRead) {return readFirstPcrValue(input, seekPositionHolder, pcrPid);//获取最第一个PCR的值}if (firstPcrValue == C.TIME_UNSET) {return finishReadDuration(input);}long minPcrPositionUs = pcrTimestampAdjuster.adjustTsTimestamp(firstPcrValue);long maxPcrPositionUs = pcrTimestampAdjuster.adjustTsTimestamp(lastPcrValue);durationUs = maxPcrPositionUs - minPcrPositionUs;//计算差值if (durationUs < 0) {Log.w(TAG, "Invalid duration: " + durationUs + ". Using TIME_UNSET instead.");durationUs = C.TIME_UNSET;}return finishReadDuration(input);}private int readFirstPcrValue(ExtractorInput input, PositionHolder seekPositionHolder, int pcrPid)throws IOException {int bytesToSearch = (int) min(timestampSearchBytes, input.getLength());int searchStartPosition = 0;//从前往后依次读取包，相应的获取最后一个时就是从后往前依次读取包if (input.getPosition() != searchStartPosition) {//回到上面讲的ExtractingLoadable外部循环再次从下面指定位置打开源进行读取seekPositionHolder.position = searchStartPosition;return Extractor.RESULT_SEEK;}packetBuffer.reset(bytesToSearch);input.resetPeekPosition();input.peekFully(packetBuffer.getData(), /* offset= */ 0, bytesToSearch);firstPcrValue = readFirstPcrValueFromBuffer(packetBuffer, pcrPid);isFirstPcrValueRead = true;return Extractor.RESULT_CONTINUE;}//最终调用这个读取包头public static long readPcrFromPacket(ParsableByteArray packetBuffer, int startOfPacket, int pcrPid) {packetBuffer.setPosition(startOfPacket);if (packetBuffer.bytesLeft() < 5) {// Header = 4 bytes, adaptationFieldLength = 1 byte.return C.TIME_UNSET;}// Note: See ISO/IEC 13818-1, section 2.4.3.2 for details of the header format.//读取包头4字节int tsPacketHeader = packetBuffer.readInt();if ((tsPacketHeader & 0x800000) != 0) {//确保包无错误// transport_error_indicator != 0 means there are uncorrectable errors in this packet.return C.TIME_UNSET;}//获取包PIDint pid = (tsPacketHeader & 0x1FFF00) >> 8;if (pid != pcrPid) {return C.TIME_UNSET;}//判断adaptationField是否存在boolean adaptationFieldExists = (tsPacketHeader & 0x20) != 0;if (!adaptationFieldExists) {return C.TIME_UNSET;}//获取adaptationField长度int adaptationFieldLength = packetBuffer.readUnsignedByte();//确认长度if (adaptationFieldLength >= 7 && packetBuffer.bytesLeft() >= 7) {int flags = packetBuffer.readUnsignedByte();//获取是否设置pcrboolean pcrFlagSet = (flags & 0x10) == 0x10;if (pcrFlagSet) {byte[] pcrBytes = new byte[6];//解析PCRpacketBuffer.readBytes(pcrBytes, /* offset= */ 0, pcrBytes.length);return readPcrValueFromPcrBytes(pcrBytes);}}return C.TIME_UNSET;}//解析PCR， & 0xFF保持原始字节数据，网络数据大端序读取，只读取了前33位，精度要求不高舍弃后7位private static long readPcrValueFromPcrBytes(byte[] pcrBytes) {return (pcrBytes[0] & 0xFFL) << 25| (pcrBytes[1] & 0xFFL) << 17| (pcrBytes[2] & 0xFFL) << 9| (pcrBytes[3] & 0xFFL) << 1| (pcrBytes[4] & 0xFFL) >> 7;}public static long ptsToUs(long pts) {return (pts * C.MICROS_PER_SECOND) / 90000;}

这里还有个插曲& 0xFF，这么做的主要原因是因为在java中byte类型为大小为1字节也就是8位，而Long整型是8字节64位，JVM在将byte转为Long时取byte作为最后1字节，其他7字节采用补码的方式填充为0xFFFFFFF，& 0xFF后就可以将前7位恢复为0x0000000保持原始的字节数据，详细可以参考byte为什么要与上0xff？这篇文章

TsDurationReader获取的时长主要通过下面几步

  1. 当流的长度已知（非直播流），从TS文件尾部查找第一个包含PCR的包的PCR值
  2. 从TS文件头部查找第一个包含PCR的包的PCR值
  3. 获取2者的差值即为时长，时间戳一般是以90 kHz 为单位再除以90000就是真实的时间戳了

好了回到主线，看下第一次的PAT解析都干了什么，由于PAT和PMT有着几乎相同的头结构，这里又抽象了一个SectionReader

SectionReader

看下公共头的解析过程

@Overridepublic void consume(ParsableByteArray data, @Flags int flags) {boolean payloadUnitStartIndicator = (flags & FLAG_PAYLOAD_UNIT_START_INDICATOR) != 0;int payloadStartPosition = C.INDEX_UNSET;if (payloadUnitStartIndicator) {int payloadStartOffset = data.readUnsignedByte();payloadStartPosition = data.getPosition() + payloadStartOffset;}if (waitingForPayloadStart) {if (!payloadUnitStartIndicator) {return;}waitingForPayloadStart = false;data.setPosition(payloadStartPosition);bytesRead = 0;}while (data.bytesLeft() > 0) {//还有剩余数据if (bytesRead < SECTION_HEADER_LENGTH) {//解析前3字节// Note: see ISO/IEC 13818-1, section 2.4.4.3 for detailed information on the format of// the header.if (bytesRead == 0) {int tableId = data.readUnsignedByte();//获取tableIddata.setPosition(data.getPosition() - 1);if (tableId == 0xFF /* forbidden value */) {//判断合法性// No more sections in this ts packet.waitingForPayloadStart = true;//跳过当前包return;}}int headerBytesToRead = min(data.bytesLeft(), SECTION_HEADER_LENGTH - bytesRead);// sectionData is guaranteed to have enough space because it's initialized with a 32-element// backing array and headerBytesToRead is at most 3.data.readBytes(sectionData.getData(), bytesRead, headerBytesToRead);bytesRead += headerBytesToRead;if (bytesRead == SECTION_HEADER_LENGTH) {//已将所有header数据读取到sectionDatasectionData.setPosition(0);sectionData.setLimit(SECTION_HEADER_LENGTH);sectionData.skipBytes(1); //跳过tableidint secondHeaderByte = sectionData.readUnsignedByte();//读取头第2个字节int thirdHeaderByte = sectionData.readUnsignedByte();//读取头第3个字节sectionSyntaxIndicator = (secondHeaderByte & 0x80) != 0;//获取section_syntax_indicatortotalSectionLength =//获取section_length(((secondHeaderByte & 0x0F) << 8) | thirdHeaderByte) + SECTION_HEADER_LENGTH;if (sectionData.capacity() < totalSectionLength) {//确保缓存够大能够放下body// Ensure there is enough space to keep the whole section.int limit =min(MAX_SECTION_LENGTH, max(totalSectionLength, sectionData.capacity() * 2));sectionData.ensureCapacity(limit);}}} else {// 读取bodyint bodyBytesToRead = min(data.bytesLeft(), totalSectionLength - bytesRead);// sectionData has been sized large enough for totalSectionLength when reading the header.data.readBytes(sectionData.getData(), bytesRead, bodyBytesToRead);bytesRead += bodyBytesToRead;if (bytesRead == totalSectionLength) {//已将所有body数据读取到sectionDataif (sectionSyntaxIndicator) {// This section has common syntax as defined in ISO/IEC 13818-1, section 2.4.4.11.if (Util.crc32(sectionData.getData(), 0, totalSectionLength, 0xFFFFFFFF) != 0) {//首先CRC校验数据完整性// The CRC is invalid so discard the section.waitingForPayloadStart = true;return;}sectionData.setLimit(totalSectionLength - 4); // 去除最后的32位校验位} else {// This is a private section with private defined syntax.sectionData.setLimit(totalSectionLength);}sectionData.setPosition(0);reader.consume(sectionData);//将body喂给下个解析器，如果是PAT包这里调用PAT解析器解析bytesRead = 0;}}}}

SectionReader主要做了公共头的解析，至于body则交给PatReader或者PmtReader解析

PatReader

    @Overridepublic void consume(ParsableByteArray sectionData) {int tableId = sectionData.readUnsignedByte();//PAT tableId 表固定为0x00if (tableId != 0x00 /* program_association_section */) {// See ISO/IEC 13818-1, section 2.4.4.4 for more information on table id assignment.return;}// section_syntax_indicator(1), '0'(1), reserved(2), section_length(4)int secondHeaderByte = sectionData.readUnsignedByte();if ((secondHeaderByte & 0x80) == 0) {// section_syntax_indicator 必须为 1. See ISO/IEC 13818-1, section 2.4.4.5.return;}// 跳过section_length(8), transport_stream_id (16), reserved (2), version_number (5),// current_next_indicator (1), section_number (8), last_section_number (8)sectionData.skipBytes(6);int programCount = sectionData.bytesLeft() / 4;//一个PMT描述为4字节，计算有多少个PMT表for (int i = 0; i < programCount; i++) {sectionData.readBytes(patScratch, 4);int programNumber = patScratch.readBits(16);//program_numberpatScratch.skipBits(3); // reserved (3)if (programNumber == 0) {//program_number==0则为NIT网络信息表，直接跳过patScratch.skipBits(13); // network_PID (13)} else {int pid = patScratch.readBits(13);if (tsPayloadReaders.get(pid) == null) {//创建PMT解析器，当下次读取到PMT的包ID时直接调用PMT解析tsPayloadReaders.put(pid, new SectionReader(new PmtReader(pid)));remainingPmts++;}}}if (mode != MODE_HLS) {tsPayloadReaders.remove(TS_PAT_PID);}}

PatReader主要工作就是将PMT表解析出来，每个PMT ID对应初始化出一个解析器，当下次读取到这些PID的包时采用对于的PmtReader

PmtReader

    @Overridepublic void consume(ParsableByteArray sectionData) {int tableId = sectionData.readUnsignedByte();//确保是PMT表if (tableId != 0x02 /* TS_program_map_section */) {// See ISO/IEC 13818-1, section 2.4.4.4 for more information on table id assignment.return;}// 处理时间戳TimestampAdjuster timestampAdjuster;if (mode == MODE_SINGLE_PMT || mode == MODE_HLS || remainingPmts == 1) {timestampAdjuster = timestampAdjusters.get(0);} else {timestampAdjuster =new TimestampAdjuster(timestampAdjusters.get(0).getFirstSampleTimestampUs());timestampAdjusters.add(timestampAdjuster);}// section_syntax_indicator(1), '0'(1), reserved(2), section_length(4)int secondHeaderByte = sectionData.readUnsignedByte();if ((secondHeaderByte & 0x80) == 0) {// section_syntax_indicator 必须为 1. See ISO/IEC 13818-1, section 2.4.4.9.return;}// section_length(8)sectionData.skipBytes(1);int programNumber = sectionData.readUnsignedShort();// Skip 3 bytes (24 bits), including:// reserved (2), version_number (5), current_next_indicator (1), section_number (8),// last_section_number (8)sectionData.skipBytes(3);sectionData.readBytes(pmtScratch, 2);// reserved (3), PCR_PID (13)pmtScratch.skipBits(3);pcrPid = pmtScratch.readBits(13);// Read program_info_length.sectionData.readBytes(pmtScratch, 2);pmtScratch.skipBits(4);int programInfoLength = pmtScratch.readBits(12);// Skip the descriptors.sectionData.skipBytes(programInfoLength);//初始化ID3解析器if (mode == MODE_HLS && id3Reader == null) {// Setup an ID3 track regardless of whether there's a corresponding entry, in case one// appears intermittently during playback. See [Internal: b/20261500].EsInfo id3EsInfo = new EsInfo(TS_STREAM_TYPE_ID3, null, null, Util.EMPTY_BYTE_ARRAY);id3Reader = payloadReaderFactory.createPayloadReader(TS_STREAM_TYPE_ID3, id3EsInfo);if (id3Reader != null) {id3Reader.init(timestampAdjuster,output,new TrackIdGenerator(programNumber, TS_STREAM_TYPE_ID3, MAX_PID_PLUS_ONE));}}trackIdToReaderScratch.clear();trackIdToPidScratch.clear();int remainingEntriesLength = sectionData.bytesLeft();while (remainingEntriesLength > 0) {//开始解析PMT表数据sectionData.readBytes(pmtScratch, 5);int streamType = pmtScratch.readBits(8);pmtScratch.skipBits(3); // reservedint elementaryPid = pmtScratch.readBits(13);pmtScratch.skipBits(4); // reservedint esInfoLength = pmtScratch.readBits(12); // ES_info_length.EsInfo esInfo = readEsInfo(sectionData, esInfoLength);//读取ESInfo数据//0x05 private_sections 0x06 PES packets containing private dataif (streamType == 0x06 || streamType == 0x05) {streamType = esInfo.streamType;//使用esInfo的streamType}remainingEntriesLength -= esInfoLength + 5;int trackId = mode == MODE_HLS ? streamType : elementaryPid;if (trackIds.get(trackId)) {continue;}@NullableTsPayloadReader reader =mode == MODE_HLS && streamType == TS_STREAM_TYPE_ID3? id3Reader//根据streamType创建对应的解析器，后面会分析: payloadReaderFactory.createPayloadReader(streamType, esInfo);if (mode != MODE_HLS|| elementaryPid < trackIdToPidScratch.get(trackId, MAX_PID_PLUS_ONE)) {trackIdToPidScratch.put(trackId, elementaryPid);trackIdToReaderScratch.put(trackId, reader);//用于后续获取}}int trackIdCount = trackIdToPidScratch.size();for (int i = 0; i < trackIdCount; i++) {int trackId = trackIdToPidScratch.keyAt(i);int trackPid = trackIdToPidScratch.valueAt(i);trackIds.put(trackId, true);trackPids.put(trackPid, true);@Nullable TsPayloadReader reader = trackIdToReaderScratch.valueAt(i);if (reader != null) {if (reader != id3Reader) {//初始化所有解析器reader.init(timestampAdjuster,output,new TrackIdGenerator(programNumber, trackId, MAX_PID_PLUS_ONE));}tsPayloadReaders.put(trackPid, reader);}}if (mode == MODE_HLS) {if (!tracksEnded) {output.endTracks();remainingPmts = 0;tracksEnded = true;}} else {tsPayloadReaders.remove(pid);//解析完成移除当前PMT解析器remainingPmts = mode == MODE_SINGLE_PMT ? 0 : remainingPmts - 1;if (remainingPmts == 0) {//所以PMT表都已读取output.endTracks();//endTracks,这个时候相当于MediaPeriod的prepare过程结束，已经获取到播放媒体的相关数据tracksEnded = true;}}}

PmtReader主要作用就是获取其中的流类型，然后创建出对应的解析器，最后所以PMT初始化完成后通知上层trackEnded
那么解析器具体是如何创建的呢，这部分工作PmtReader交由payloadReaderFactory，默认实现了DefaultTsPayloadReaderFactory

DefaultTsPayloadReaderFactory

这个createPayloadReader方法里基本上将所有的流类型创建了解析器，可以当一个索引看下

  @Override@Nullablepublic TsPayloadReader createPayloadReader(int streamType, EsInfo esInfo) {switch (streamType) {case TsExtractor.TS_STREAM_TYPE_MPA:case TsExtractor.TS_STREAM_TYPE_MPA_LSF:return new PesReader(new MpegAudioReader(esInfo.language));case TsExtractor.TS_STREAM_TYPE_AAC_ADTS:return isSet(FLAG_IGNORE_AAC_STREAM)? null: new PesReader(new AdtsReader(false, esInfo.language));case TsExtractor.TS_STREAM_TYPE_AAC_LATM:return isSet(FLAG_IGNORE_AAC_STREAM)? null: new PesReader(new LatmReader(esInfo.language));case TsExtractor.TS_STREAM_TYPE_AC3:case TsExtractor.TS_STREAM_TYPE_E_AC3:return new PesReader(new Ac3Reader(esInfo.language));case TsExtractor.TS_STREAM_TYPE_AC4:return new PesReader(new Ac4Reader(esInfo.language));case TsExtractor.TS_STREAM_TYPE_HDMV_DTS:if (!isSet(FLAG_ENABLE_HDMV_DTS_AUDIO_STREAMS)) {return null;}// Fall through.case TsExtractor.TS_STREAM_TYPE_DTS:return new PesReader(new DtsReader(esInfo.language));case TsExtractor.TS_STREAM_TYPE_H262:case TsExtractor.TS_STREAM_TYPE_DC2_H262:return new PesReader(new H262Reader(buildUserDataReader(esInfo)));case TsExtractor.TS_STREAM_TYPE_H263:return new PesReader(new H263Reader(buildUserDataReader(esInfo)));case TsExtractor.TS_STREAM_TYPE_H264:return isSet(FLAG_IGNORE_H264_STREAM)? null: new PesReader(new H264Reader(buildSeiReader(esInfo),isSet(FLAG_ALLOW_NON_IDR_KEYFRAMES),isSet(FLAG_DETECT_ACCESS_UNITS)));case TsExtractor.TS_STREAM_TYPE_H265:return new PesReader(new H265Reader(buildSeiReader(esInfo)));case TsExtractor.TS_STREAM_TYPE_SPLICE_INFO:return isSet(FLAG_IGNORE_SPLICE_INFO_STREAM)? null: new SectionReader(new PassthroughSectionPayloadReader(MimeTypes.APPLICATION_SCTE35));case TsExtractor.TS_STREAM_TYPE_ID3:return new PesReader(new Id3Reader());case TsExtractor.TS_STREAM_TYPE_DVBSUBS:return new PesReader(new DvbSubtitleReader(esInfo.dvbSubtitleInfos));case TsExtractor.TS_STREAM_TYPE_AIT:return new SectionReader(new PassthroughSectionPayloadReader(MimeTypes.APPLICATION_AIT));default:return null;}}

这里关注下目前比较主流的H.264,可以看到首先是创建Pes解析器解析PES，然后从PES中解析H.264数据，组后在H.264数据中解析SEI信息

PesReader

看下PES如何解析

@Overridepublic final void consume(ParsableByteArray data, @Flags int flags) throws ParserException {Assertions.checkStateNotNull(timestampAdjuster); // Asserts init has been called.//一个状态机
...while (data.bytesLeft() > 0) {switch (state) {case STATE_FINDING_HEADER:data.skipBytes(data.bytesLeft());break;case STATE_READING_HEADER:if (continueRead(data, pesScratch.data, HEADER_SIZE)) {setState(parseHeader() ? STATE_READING_HEADER_EXTENSION : STATE_FINDING_HEADER);}break;case STATE_READING_HEADER_EXTENSION:int readLength = min(MAX_HEADER_EXTENSION_SIZE, extendedHeaderLength);// Read as much of the extended header as we're interested in, and skip the rest.if (continueRead(data, pesScratch.data, readLength)&& continueRead(data, /* target= */ null, extendedHeaderLength)) {parseHeaderExtension();flags |= dataAlignmentIndicator ? FLAG_DATA_ALIGNMENT_INDICATOR : 0;reader.packetStarted(timeUs, flags);setState(STATE_READING_BODY);}break;case STATE_READING_BODY:readLength = data.bytesLeft();int padding = payloadSize == C.LENGTH_UNSET ? 0 : readLength - payloadSize;if (padding > 0) {readLength -= padding;data.setLimit(data.getPosition() + readLength);}reader.consume(data);//调用下层解析器解析body，如H264Readerif (payloadSize != C.LENGTH_UNSET) {payloadSize -= readLength;if (payloadSize == 0) {reader.packetFinished();setState(STATE_READING_HEADER);}}break;default:throw new IllegalStateException();}}}//解析headerprivate boolean parseHeader() {// Note: see ISO/IEC 13818-1, section 2.4.3.6 for detailed information on the format of// the header.pesScratch.setPosition(0);int startCodePrefix = pesScratch.readBits(24);if (startCodePrefix != 0x000001) {//校验合法性Log.w(TAG, "Unexpected start code prefix: " + startCodePrefix);payloadSize = C.LENGTH_UNSET;return false;}pesScratch.skipBits(8); // stream_id.int packetLength = pesScratch.readBits(16);//获取长度pesScratch.skipBits(5); // '10' (2), PES_scrambling_control (2), PES_priority (1)dataAlignmentIndicator = pesScratch.readBit();pesScratch.skipBits(2); // copyright (1), original_or_copy (1)ptsFlag = pesScratch.readBit();//PTS_flagsdtsFlag = pesScratch.readBit();//DTS_flags// ESCR_flag (1), ES_rate_flag (1), DSM_trick_mode_flag (1),// additional_copy_info_flag (1), PES_CRC_flag (1), PES_extension_flag (1)pesScratch.skipBits(6);extendedHeaderLength = pesScratch.readBits(8);//获取额外数据长度用于DTS PTS解析
...return true;}@RequiresNonNull("timestampAdjuster")private void parseHeaderExtension() {//解析出PTS和DTS用于后续H264解析器pesScratch.setPosition(0);timeUs = C.TIME_UNSET;if (ptsFlag) {pesScratch.skipBits(4); // '0010' or '0011'long pts = (long) pesScratch.readBits(3) << 30;pesScratch.skipBits(1); // marker_bitpts |= pesScratch.readBits(15) << 15;pesScratch.skipBits(1); // marker_bitpts |= pesScratch.readBits(15);pesScratch.skipBits(1); // marker_bitif (!seenFirstDts && dtsFlag) {pesScratch.skipBits(4); // '0011'long dts = (long) pesScratch.readBits(3) << 30;pesScratch.skipBits(1); // marker_bitdts |= pesScratch.readBits(15) << 15;pesScratch.skipBits(1); // marker_bitdts |= pesScratch.readBits(15);pesScratch.skipBits(1); // marker_bittimestampAdjuster.adjustTsTimestamp(dts);seenFirstDts = true;}timeUs = timestampAdjuster.adjustTsTimestamp(pts);}}

PesReader主要是将Pes的Header解析，获取ES数据的长度，以及PES与DTS数据，然后将这些数据传递给下层ES解析器。

总结

关于TsExtractor的内容先写到这里，ES解析器可能比TS更加复杂，计划将ES解析的内容单独一篇来解析，计划以目前最为普遍的H.264格式作为分析对象，也就是对应ExoPlayer中的H264Reader。

版权声明 ©
本文为CSDN作者山雨楼原创文章
转载请注明出处
原创不易，觉得有用的话，收藏转发点赞支持

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/197450.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Kafka入门教程与详解（一）

Kafka入门教程与详解（一）

Kafka入门教程与详解&#xff08;一&#xff09; 一、Kafka入门教程 1.1 消息队列&#xff08;Message Queue) Message Queue消息传送系统提供传送服务。消息传送依赖于大量支持组件&#xff0c;这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消…
阅读更多...
飞鼠异地组网工具实战之访问k8s集群内部服务

飞鼠异地组网工具实战之访问k8s集群内部服务

飞鼠异地组网工具实战之访问k8s集群内部服务 一、飞鼠异地组网工具介绍1.1 飞鼠工具简介1.2 飞鼠工具官网 二、本次实践介绍2.1 本次实践场景描述2.2 本次实践前提2.3 本次实践环境规划 三、检查本地k8s集群环境3.1 检查k8s各节点状态3.2 检查k8s版本3.3 检查k8s系统pod状态 四…
阅读更多...
HTML5学习系列之标题和正文、描述性信息

HTML5学习系列之标题和正文、描述性信息

HTML5学习系列之标题和正文、描述性信息 标题和正文标题段落 描述性信息强调注解备选上下标术语代码预定义格式缩写词编辑提示引用引述换行显示修饰非文本注解 总结 标题和正文 标题 按语义轻重排列&#xff1a;h1\h2\h3\h4\h5\h6 <h1>诗词介绍</h1> <h2>…
阅读更多...
802.11ax-2021协议学习__$27-HE-PHY__$27.5-Parameters-for-HE-MCSs

802.11ax-2021协议学习__$27-HE-PHY__$27.5-Parameters-for-HE-MCSs

802.11ax-2021协议学习__$27-HE-PHY__$27.5-Parameters-for-HE-MCSs 27.3.7 Modulation and coding scheme (HE-MCSs)27.3.8 HE-SIG-B modulation and coding schemes (HE-SIG-B-MCSs)27.5 Parameters for HE-MCSs27.5.1 General27.5.2 HE-MCSs for 26-tone RU27.5.3 HE-MCSs f…
阅读更多...
系列一、JVM概述

系列一、JVM概述

一、概述 1.1、Java发展中的重大事件 1.2、虚拟机 vs Java虚拟机 1.2.1、虚拟机 1.2.2、Java虚拟机 1.2.3、Java虚拟机的作用 Java虚拟机是二进制字节码的运行环境&#xff0c;负责装载字节码到其内部&#xff0c;解释/编译为对应平台上的机器指令指令。每一条Java指令&#…
阅读更多...
Linux进程间通信之匿名管道

Linux进程间通信之匿名管道

文章目录 为什么要有进程间通信pipe函数共享管道原理管道特点管道的应用场景&#xff08;进程池&#xff09;ProcessPool.ccTask.hpp 为什么要有进程间通信 数据传输&#xff1a;一个进程需要将它的数据发送给另一个进程 资源共享&#xff1a;多个进程之间共享同样的资源。 通…
阅读更多...
ARM CoreLink CCN 互连总线介绍

ARM CoreLink CCN 互连总线介绍

NIC NOC CCI CMN CNN NI cmn-700 nic-700 ni-700 MLGB这都是啥玩意？ 后期博文或视频将会更新这一系列。今天先温习一下CNN的概念，这是来自2014年的文章，然后稍微整理总结一番。 以下是正文… 现代主流和优质 ARM 片上系统 (SoC) 产品使用 CoreLink 缓存一致性网络 (CCN) 504…
阅读更多...
NSSCTF第13页（2）

NSSCTF第13页（2）

[HNCTF 2022 Week1]Challenge__rce 提示?hint 访问看到了源码 <?php error_reporting(0); if (isset($_GET[hint])) { highlight_file(__FILE__); } if (isset($_POST[rce])) { $rce $_POST[rce]; if (strlen($rce) < 120) { if (is_string($rce…
阅读更多...
基于阿基米德优化算法优化概率神经网络PNN的分类预测 - 附代码

基于阿基米德优化算法优化概率神经网络PNN的分类预测 - 附代码

基于阿基米德优化算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于阿基米德优化算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于阿基米德优化优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要&#xf…
阅读更多...
国科大数据挖掘期末复习——聚类分析

国科大数据挖掘期末复习——聚类分析

聚类分析 将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。由聚类所生 成的簇是一组数据对象的集合&#xff0c;这些对象与同一个簇中的对象彼此相似&#xff0c;与其他簇中的对象相异。 聚类属于无监督学习&#xff08;unsupervised learning&…
阅读更多...
vue之浏览器存储方法封装实例

vue之浏览器存储方法封装实例

我们在项目中通常会对缓存进行一些操作&#xff0c;为了便于全局调用&#xff0c;会对缓存的设置、获取及删除方法进行封装成一个工具类。 首先我们在src目录下创建一个plugins文件夹&#xff0c;在plugins下创建cache文件夹并创建index.js&#xff0c;代码如下&#xff1a; c…
阅读更多...
[Linux版本Debian系统]安装cuda 和对应的cudnn以cuda 12.0为例

[Linux版本Debian系统]安装cuda 和对应的cudnn以cuda 12.0为例

写在前面 先检查自己有没有安装使用wget的命令&#xff0c;没有的话输入下面命令安装&#xff1a; apt-get install wget -y查看gcc的安装 sudo apt install gcc #安装gcc gcc --version #查看gcc是否安装成功 #若上述命令不成功使用下面的命令尝试之后再执行上面…
阅读更多...
【数据结构算法（一）】递归篇（常见实例讲解）

【数据结构算法（一）】递归篇（常见实例讲解）

&#x1f308;键盘敲烂&#xff0c;年薪30万&#x1f308; ⭐本篇讲解实例&#xff1a; 斐波那契、兔子问题、猴子吃桃问题、跳台阶问题、汉诺塔、杨辉三角 ⭐用到的递归思想&#xff1a; 无记忆递归、记忆递归(重点掌握) 目录 一、斐波那契&#xff1a; ①无记忆多路递归&am…
阅读更多...
【飞控调试】DJIF450机架+Pixhawk6c mini+v1.13.3固件+好盈Platinium 40A电调无人机调试

【飞控调试】DJIF450机架+Pixhawk6c mini+v1.13.3固件+好盈Platinium 40A电调无人机调试

1 背景 由于使用了一种新的航电设备组合&#xff0c;在调试无人机起飞的时候遇到了之前没有遇到的问题。之前用的飞控&#xff08;Pixhawk 6c&#xff09;和电调&#xff08;Hobbywing X-Rotor 40A&#xff09;&#xff0c;在QGC里按默认参数配置来基本就能平稳飞行&#xff0…
阅读更多...
【Linux】21、软中断、网络小包、SYN FLOOD 攻击、sar tcpdump

【Linux】21、软中断、网络小包、SYN FLOOD 攻击、sar tcpdump

文章目录 一、通俗理解&#xff1a;从“取外卖”看中断二、软中断2.1 网卡收发数据包2.2 查看软中断和内核线程2.3 案例2.3.1 案例&#xff1a;动态库 sleep 导致软中断2.3.2 Nginx 进程的不可中断状态是系统的一种保护机制&#xff0c;可以保证硬件的交互过程不被意外打断。所…
阅读更多...
SpringBoot使用DevTools实现后端热部署

SpringBoot使用DevTools实现后端热部署

&#x1f4d1;前言 本文主要SpringBoot通过DevTools实现热部署的文章&#xff0c;如果有什么需要改进的地方还请大佬指出⛺️ &#x1f3ac;作者简介&#xff1a;大家好&#xff0c;我是青衿&#x1f947; ☁️博客首页&#xff1a;CSDN主页放风讲故事 &#x1f304;每日一句&…
阅读更多...
docker 安装mongodb 实现 数据，日志，配置文件外挂

docker 安装mongodb 实现 数据，日志，配置文件外挂

docker 安装mongodb 实现数据&#xff0c;日志&#xff0c;配置文件外挂 1 背景 最近开发了一个评论系统之前用mysql来存储数据&#xff0c;但是考虑到后期业务增大访问量也会增大&#xff0c;为了兼容这种高并发的场景&#xff0c;因此经过多方面的考虑&#xff0c;我们最终…
阅读更多...
理论与实践相结合之Cisco Packet Tracer网络模拟器安装教程

理论与实践相结合之Cisco Packet Tracer网络模拟器安装教程

简介 Packet Tracer是由思科设计的跨平台可视化仿真工具&#xff0c;它允许用户创建网络拓扑以模仿计算机网络和使用命令行界面来模拟配置思科路由器和交换机。Packet Tracer的用户界面为拖放式&#xff0c;允许用户根据自己的需要添加和删除模拟的网络设备。 Packet Tracer很…
阅读更多...
RVC从入门到......

RVC从入门到......

RVC变声器官方教程&#xff1a;10分钟克隆你的声音&#xff01;一键训练&#xff0c;低配显卡用户福音&#xff01;_哔哩哔哩_bilibili配音&#xff1a;AI逍遥散人&#xff08;已授权&#xff09;关注UP主并私信"RVC"&#xff08;三个字母&#xff09;自动获取一键训…
阅读更多...
MySQL 的执行原理（一）

MySQL 的执行原理（一）

5.1 单表访问之索引合并 我们前边说过 MySQL 在一般情况下执行一个查询时最多只会用到单个二级 索引&#xff0c;但存在有特殊情况&#xff0c;在这些特殊情况下也可能在一个查询中使用到多个二 级索引&#xff0c;MySQL 中这种使用到多个索引来完成一次查询的执行方法称之为&…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023