Android 13 - Media框架(6)- NuPlayer

上一节我们通过 NuPlayerDriver 了解了 NuPlayer 的使用方式,这一节我们一起来学习 NuPlayer 的部分实现细节。
ps:之前用 NuPlayer 播放本地视频很多都无法播放,所以觉得它不太行,这两天重新阅读发现它的功能其实很全面,无法播放都是Extractor的锅,NuPlayer 有很多细节值得学习!

1、NuPlayer结构

请添加图片描述

我将 NuPlayer 拆成4部分来学习,分别是:

  • Source:数据源,包括 IO 和 demux 两部分;
  • Decoder:编解码组件,使用 MediaCodec 实现;
  • Render:用于解码后的数据渲染与 Avsync;
  • Controller:以上三个部分的控制器,这里指的是 NuPlayer 自身;

2、NuPlayer控制接口的实现

2.1、setDataSourceAsync

setDataSource 是用来根据传进来的 url 创建对应类型 Source 的,这里找一个最常用的版本:

void NuPlayer::setDataSourceAsync(const sp<IMediaHTTPService> &httpService,const char *url,const KeyedVector<String8, String8> *headers) {// 1. 异步消息处理sp<AMessage> msg = new AMessage(kWhatSetDataSource, this);size_t len = strlen(url);// 2. 用于Source 给 NuPlayer 的 Callbacksp<AMessage> notify = new AMessage(kWhatSourceNotify, this);sp<Source> source;// 3. 根据 url 创建对应的 Sourceif (IsHTTPLiveURL(url)) {source = new HTTPLiveSource(notify, httpService, url, headers);mDataSourceType = DATA_SOURCE_TYPE_HTTP_LIVE;} else if (!strncasecmp(url, "rtsp://", 7)) {source = new RTSPSource(notify, httpService, url, headers, mUIDValid, mUID);mDataSourceType = DATA_SOURCE_TYPE_RTSP;} else if ((!strncasecmp(url, "http://", 7)|| !strncasecmp(url, "https://", 8))&& ((len >= 4 && !strcasecmp(".sdp", &url[len - 4]))|| strstr(url, ".sdp?"))) {source = new RTSPSource(notify, httpService, url, headers, mUIDValid, mUID, true);mDataSourceType = DATA_SOURCE_TYPE_RTSP;} else {sp<GenericSource> genericSource =new GenericSource(notify, mUIDValid, mUID, mMediaClock);status_t err = genericSource->setDataSource(httpService, url, headers);if (err == OK) {source = genericSource;} else {ALOGE("Failed to set data source!");}mDataSourceType = DATA_SOURCE_TYPE_GENERIC_URL;}msg->setObject("source", source);msg->post();
}
  1. NuPlayer 使用 android 异步消息处理机制来处理上层调用;
  2. 创建一个 AMessage 并将 target 设定为 NuPlayer 自身,从而实现 Source 到 NuPlayer 的 Callback;
  3. 根据 url 创建对应的 Source
    • 如果 url 以 .m3u8 结尾,那么认为这是一个直播源,创建 HTTPLiveSource
    • 如果 url 以 rtsp:// 开头,那么创建 RTSPSource
    • 如果 url 以 http:// https://开头,并以 .sdp 结尾,那么创建 RTSPSource,但是和上面的参数上会有区别;
    • 如果上面的条件不满足,则创建 GenericSource,一般是用来播放本地文件的。
  4. 设定对应的 mDataSourceType;

我们在上一篇笔记中说到,setDataSource 必须是同步调用,NuPlayer 完成 Source 创建后会 Callback 给 NuPlayerDriver:

        case kWhatSetDataSource:{CHECK(mSource == NULL);status_t err = OK;sp<RefBase> obj;CHECK(msg->findObject("source", &obj));if (obj != NULL) {Mutex::Autolock autoLock(mSourceLock);mSource = static_cast<Source *>(obj.get());} else {err = UNKNOWN_ERROR;}CHECK(mDriver != NULL);sp<NuPlayerDriver> driver = mDriver.promote();if (driver != NULL) {driver->notifySetDataSourceCompleted(err);}break;}

setDataSource 完成后,一些和 Source 相关的方法就可以调用了,比如 setBufferingSettings

2.2、prepareAsync

prepare 控制的内容很简单,就是调用 Source 的 prepareAsync 方法:

        case kWhatPrepare:{ALOGV("onMessageReceived kWhatPrepare");mSource->prepareAsync();break;}

Source prepareAsync 完成后会调用 post 将消息发送回来:

        case Source::kWhatPrepared:{// 1、ALOGV("NuPlayer::onSourceNotify Source::kWhatPrepared source: %p", mSource.get());if (mSource == NULL) {// This is a stale notification from a source that was// asynchronously preparing when the client called reset().// We handled the reset, the source is gone.break;}int32_t err;CHECK(msg->findInt32("err", &err));if (err != OK) {// shut down potential secure codecs in case client never calls resetmDeferredActions.push_back(new FlushDecoderAction(FLUSH_CMD_SHUTDOWN /* audio */,FLUSH_CMD_SHUTDOWN /* video */));processDeferredActions();} else {mPrepared = true;}sp<NuPlayerDriver> driver = mDriver.promote();if (driver != NULL) {// notify duration first, so that it's definitely set when// the app received the "prepare complete" callback.int64_t durationUs;if (mSource->getDuration(&durationUs) == OK) {driver->notifyDuration(durationUs);}driver->notifyPrepareCompleted(err);}break;}

这里有对 prepareAsync 过程中调用 reset 的情况做一些处理,如果 Source 被reset销毁变成 NULL,那么就不会上抛回调消息

2.3、start

        case kWhatStart:{ALOGV("kWhatStart");if (mStarted) {// do not resume yet if the source is still bufferingif (!mPausedForBuffering) {onResume();}} else {onStart();}mPausedByClient = false;break;}

如果播放还未开始,则调用 onStart,如果是暂停状态则调用 onResume,但是如果因为 buffer 不足 Source callback 回来调用了 pause,则不做任何操作。

先来看 onStart:

void NuPlayer::onStart(int64_t startPositionUs, MediaPlayerSeekMode mode) {// 1. 启动sourceif (!mSourceStarted) {mSourceStarted = true;mSource->start();}// 1. 如果设置了起播位置,则调用seekif (startPositionUs > 0) {performSeek(startPositionUs, mode);if (mSource->getFormat(false /* audio */) == NULL) {return;}}// 2. 初始化状态mOffloadAudio = false;mAudioEOS = false;mVideoEOS = false;mStarted = true;mPaused = false;uint32_t flags = 0;if (mSource->isRealTime()) {flags |= Renderer::FLAG_REAL_TIME;}// 3. 检查audio video formatbool hasAudio = (mSource->getFormat(true /* audio */) != NULL);bool hasVideo = (mSource->getFormat(false /* audio */) != NULL);if (!hasAudio && !hasVideo) {ALOGE("no metadata for either audio or video source");mSource->stop();mSourceStarted = false;notifyListener(MEDIA_ERROR, MEDIA_ERROR_UNKNOWN, ERROR_MALFORMED);return;}ALOGV_IF(!hasAudio, "no metadata for audio source");  // video only streamsp<MetaData> audioMeta = mSource->getFormatMeta(true /* audio */);audio_stream_type_t streamType = AUDIO_STREAM_MUSIC;if (mAudioSink != NULL) {streamType = mAudioSink->getAudioStreamType();}// 4. 判断当前 audio format 是否支持 offload 模式,如果是DRM视频,则不允许 offloadmOffloadAudio =canOffloadStream(audioMeta, hasVideo, mSource->isStreaming(), streamType)&& (mPlaybackSettings.mSpeed == 1.f && mPlaybackSettings.mPitch == 1.f);// Modular DRM: Disabling audio offload if the source is protectedif (mOffloadAudio && mIsDrmProtected) {mOffloadAudio = false;}if (mOffloadAudio) {flags |= Renderer::FLAG_OFFLOAD_AUDIO;}// 5. 创建Render,创建 RendererLooper 处理 Render的事件sp<AMessage> notify = new AMessage(kWhatRendererNotify, this);++mRendererGeneration;notify->setInt32("generation", mRendererGeneration);mRenderer = new Renderer(mAudioSink, mMediaClock, notify, flags);mRendererLooper = new ALooper;mRendererLooper->setName("NuPlayerRenderer");mRendererLooper->start(false, false, ANDROID_PRIORITY_AUDIO);mRendererLooper->registerHandler(mRenderer);// 6. 初始化 render 设置status_t err = mRenderer->setPlaybackSettings(mPlaybackSettings);if (err != OK) {mSource->stop();mSourceStarted = false;notifyListener(MEDIA_ERROR, MEDIA_ERROR_UNKNOWN, err);return;}float rate = getFrameRate();if (rate > 0) {mRenderer->setVideoFrameRate(rate);}// 7. 如果当前有 video 和 audio decoder,将decoder 和 render绑定if (mVideoDecoder != NULL) {mVideoDecoder->setRenderer(mRenderer);}if (mAudioDecoder != NULL) {mAudioDecoder->setRenderer(mRenderer);}startPlaybackTimer("onstart");// 8. 调用 postScanSourcespostScanSources();
}

虽然 onStart 方法比较长,但是还是比较有条理的,启动了 Source,创建并启动 Render,创建并启动 Decoder:

  1. 启动 Source,对起播位置进行设定;
  2. 检查视频是否含有audio video source,如果都没有则该视频不能播放;
  3. 判断当前 audio format 是否支持 offload 模式,如果是DRM视频,则不允许 offload,audio 的工作方式将会影响 Render 的工作方式;
  4. 创建Render,创建 RendererLooper 处理 Render的事件,初始化 Render 设定;
  5. 调用 postScanSources 创建 Decoder;

接下来看 postScanSources 是如何创建 Decoder 的:

        case kWhatScanSources:{bool rescan = false;// 1. 创建 videoif (mSurface != NULL) {if (instantiateDecoder(false, &mVideoDecoder) == -EWOULDBLOCK) {rescan = true;}}// 2. 创建 audio// Don't try to re-open audio sink if there's an existing decoder.if (mAudioSink != NULL && mAudioDecoder == NULL) {if (instantiateDecoder(true, &mAudioDecoder) == -EWOULDBLOCK) {rescan = true;}}// 3. 如果创建失败则重新扫描if (rescan) {msg->post(100000LL);mScanSourcesPending = true;}break;}
  1. 如果 Surface 不为 NULL,那么就会调用 instantiateDecoder 创建 video decoder;
  2. mAudioSink 不为 NULL,那么就会去创建 audio decoder;
  3. 如果有哪一个 decoder 创建失败,那么就会不断发送 kWhatScanSources 扫描 source,直到 video 和 audio decoder 都创建完成。

从这里我们大致可以猜到,播放过程中是可以先只播放 video 或者 audio,再中途追加播放另一个,只要 avsync 能够支援就行。

status_t NuPlayer::instantiateDecoder(bool audio, sp<DecoderBase> *decoder, bool checkAudioModeChange) {// 1. 检查 decoder 是否已经创建,如果已经创建则不重复创建if (*decoder != NULL || (audio && mFlushingAudio == SHUT_DOWN)) {return OK;}// 2. 获取 format,如果没有 format 则退出等待下次扫描sp<AMessage> format = mSource->getFormat(audio);if (format == NULL) {return UNKNOWN_ERROR;} else {status_t err;if (format->findInt32("err", &err) && err) {return err;}}format->setInt32("priority", 0 /* realtime */);if (mDataSourceType == DATA_SOURCE_TYPE_RTP) {ALOGV("instantiateDecoder: set decoder error free on stream corrupt.");format->setInt32("corrupt-free", true);}// 3. 创建 CCDecoder,初始化Video Decoder config formatif (!audio) {AString mime;CHECK(format->findString("mime", &mime));sp<AMessage> ccNotify = new AMessage(kWhatClosedCaptionNotify, this);if (mCCDecoder == NULL) {mCCDecoder = new CCDecoder(ccNotify);}if (mSourceFlags & Source::FLAG_SECURE) {format->setInt32("secure", true);}if (mSourceFlags & Source::FLAG_PROTECTED) {format->setInt32("protected", true);}float rate = getFrameRate();if (rate > 0) {format->setFloat("operating-rate", rate * mPlaybackSettings.mSpeed);}}Mutex::Autolock autoLock(mDecoderLock);if (audio) {sp<AMessage> notify = new AMessage(kWhatAudioNotify, this);++mAudioDecoderGeneration;notify->setInt32("generation", mAudioDecoderGeneration);if (checkAudioModeChange) {determineAudioModeChange(format);}// 4. 创建 audio decoder,如果是offload 模式则创建DecoderPassThrough,否则创建Decoderif (mOffloadAudio) {mSource->setOffloadAudio(true /* offload */);const bool hasVideo = (mSource->getFormat(false /*audio */) != NULL);format->setInt32("has-video", hasVideo);*decoder = new DecoderPassThrough(notify, mSource, mRenderer);ALOGV("instantiateDecoder audio DecoderPassThrough  hasVideo: %d", hasVideo);} else {mSource->setOffloadAudio(false /* offload */);*decoder = new Decoder(notify, mSource, mPID, mUID, mRenderer);ALOGV("instantiateDecoder audio Decoder");}mAudioDecoderError = false;} else {sp<AMessage> notify = new AMessage(kWhatVideoNotify, this);++mVideoDecoderGeneration;notify->setInt32("generation", mVideoDecoderGeneration);// 5. 创建 video decoder*decoder = new Decoder(notify, mSource, mPID, mUID, mRenderer, mSurface, mCCDecoder);mVideoDecoderError = false;// enable FRC if high-quality AV sync is requested, even if not// directly queuing to display, as this will even improve textureview// playback.{if (property_get_bool("persist.sys.media.avsync", false)) {format->setInt32("auto-frc", 1);}}}// 6. 调用创建的decoder的init方法(*decoder)->init();// Modular DRMif (mIsDrmProtected) {format->setPointer("crypto", mCrypto.get());ALOGV("instantiateDecoder: mCrypto: %p (%d) isSecure: %d", mCrypto.get(),(mCrypto != NULL ? mCrypto->getStrongCount() : 0),(mSourceFlags & Source::FLAG_SECURE) != 0);}// 7. 调用创建的decoder的configure方法(*decoder)->configure(format);return OK;
}
  1. 检查 decoder 是否已经创建,如果已经创建则不重复创建;
  2. 获取 format,如果没有 format 则退出等待下次扫描;
  3. 如果是要创建video decoder,则创建 CCDecoder,初始化Video Decoder config format;
  4. 创建 audio decoder,如果是offload 模式则创建DecoderPassThrough,否则创建Decoder
  5. 创建 video decoder
  6. 调用创建的decoder的init方法
  7. 调用创建的decoder的configure方法

在创建 VideoDecoder 和 AudioDecoder 时,需要将 render 作为参数传递进去,这里已经将decoder 和 render 做了绑定。

NuPlayerDecoder 没有start接口,configure 调用中会自动完成 start调用,所以 instantiateDecoder 调用完成后 decoder 就已经启动完成了。

2.4、pause

pause 方法很简单,只要将 Source 和 Render 都 pause 就行,Decoder 无法从 Source 拿到数据,那么自然而然就暂停了。

void NuPlayer::onPause() {updatePlaybackTimer(true /* stopping */, "onPause");if (mPaused) {return;}mPaused = true;if (mSource != NULL) {mSource->pause();} else {ALOGW("pause called when source is gone or not set");}if (mRenderer != NULL) {mRenderer->pause();} else {ALOGW("pause called when renderer is gone or not set");}
}

这里再看 start 方法中的 onResume,恢复 Source 和 Renderer 的动作就行:

void NuPlayer::onResume() {if (!mPaused || mResetting) {ALOGD_IF(mResetting, "resetting, onResume discarded");return;}mPaused = false;if (mSource != NULL) {mSource->resume();} else {ALOGW("resume called when source is gone or not set");}// |mAudioDecoder| may have been released due to the pause timeout, so re-create it if// needed.if (audioDecoderStillNeeded() && mAudioDecoder == NULL) {instantiateDecoder(true /* audio */, &mAudioDecoder);}if (mRenderer != NULL) {mRenderer->resume();} else {ALOGW("resume called when renderer is gone or not set");}
}

2.5、resetAsync

void NuPlayer::resetAsync() {sp<Source> source;{Mutex::Autolock autoLock(mSourceLock);source = mSource;}if (source != NULL) {source->disconnect();}(new AMessage(kWhatReset, this))->post();
}

由于 Source 可能会出现阻塞的情况,所以 resetAsync 处理过程中需要先调用 Source.disconnect ,从达到加速reset的目的。

        case kWhatReset:{mResetting = true;// 1. flushmDeferredActions.push_back(new FlushDecoderAction(FLUSH_CMD_SHUTDOWN /* audio */,FLUSH_CMD_SHUTDOWN /* video */));// 2. resetmDeferredActions.push_back(new SimpleAction(&NuPlayer::performReset));processDeferredActions();break;}

reset 的过程分为两个步骤:

  1. flush:刷新 decoder render 中的数据,立即停止播放;
  2. reset:释放 decoder render source 的资源;

先来看下 processDeferredActions 方法,这里用到一种延迟处理的机制,一开始我不是很理解为什么这里要用这种机制,为什么不直接按顺序 post 一条消息呢?仔细阅读注释可以发现意思是这样:当不在即时状态时,我们将不会执行被延迟的方法。看起来还是有点难懂,但是它后面还举了例子,当 decoder 进入到了 flushing 和 shutting down 的状态时,这些被延迟的方法将不再被处理。

我的理解是这样,接下来需要执行的几个 Action 必须是要按照顺序执行的,但是目前处在 onMessageReceived 处理过程中,用 postAwaitResponse 等待返回肯定是不行的;如果按顺序 post 消息执行,由于 Action 执行的任务是异步的,并不能保证后面 Action 执行时前面的 Action 已经执行完成。所以这里用了 DeferredActions 机制,处理 Action 时先检查状态,如果状态不如预期则延迟执行,等待上一条 Action 执行完成后再调用 processDeferredActions 统一执行延迟的任务,从而保证了执行顺序。

void NuPlayer::processDeferredActions() {while (!mDeferredActions.empty()) {// We won't execute any deferred actions until we're no longer in// an intermediate state, i.e. one more more decoders are currently// flushing or shutting down.if (mFlushingAudio != NONE || mFlushingVideo != NONE) {// We're currently flushing, postpone the reset until that's// completed.ALOGV("postponing action mFlushingAudio=%d, mFlushingVideo=%d",mFlushingAudio, mFlushingVideo);break;}sp<Action> action = *mDeferredActions.begin();mDeferredActions.erase(mDeferredActions.begin());action->execute(this);}
}

接下来看 flush 流程,核心是调用的 decoder,并且将参数 needShutdown 置为 true

void NuPlayer::performDecoderFlush(FlushCommand audio, FlushCommand video) {ALOGV("performDecoderFlush audio=%d, video=%d", audio, video);if ((audio == FLUSH_CMD_NONE || mAudioDecoder == NULL)&& (video == FLUSH_CMD_NONE || mVideoDecoder == NULL)) {return;}if (audio != FLUSH_CMD_NONE && mAudioDecoder != NULL) {flushDecoder(true /* audio */, (audio == FLUSH_CMD_SHUTDOWN));}if (video != FLUSH_CMD_NONE && mVideoDecoder != NULL) {flushDecoder(false /* audio */, (video == FLUSH_CMD_SHUTDOWN));}
}

flushDecoder 的核心是调用 Decoder 的 signalFlush 方法,并且将 mFlushingAudio 和 mFlushingVideo 置为 FLUSHING_DECODER_SHUTDOWN ,这将终止 decoder 的运行;如果是单纯的 flush 两个标志将被置为 FLUSHING_DECODER,decoder 将会继续运行。

void NuPlayer::flushDecoder(bool audio, bool needShutdown) {ALOGV("[%s] flushDecoder needShutdown=%d",audio ? "audio" : "video", needShutdown);const sp<DecoderBase> &decoder = getDecoder(audio);if (decoder == NULL) {ALOGI("flushDecoder %s without decoder present",audio ? "audio" : "video");return;}// Make sure we don't continue to scan sources until we finish flushing.++mScanSourcesGeneration;if (mScanSourcesPending) {if (!needShutdown) {mDeferredActions.push_back(new SimpleAction(&NuPlayer::performScanSources));}mScanSourcesPending = false;}decoder->signalFlush();FlushStatus newStatus =needShutdown ? FLUSHING_DECODER_SHUTDOWN : FLUSHING_DECODER;mFlushComplete[audio][false /* isDecoder */] = (mRenderer == NULL);mFlushComplete[audio][true /* isDecoder */] = false;if (audio) {ALOGE_IF(mFlushingAudio != NONE,"audio flushDecoder() is called in state %d", mFlushingAudio);mFlushingAudio = newStatus;} else {ALOGE_IF(mFlushingVideo != NONE,"video flushDecoder() is called in state %d", mFlushingVideo);mFlushingVideo = newStatus;}
}

由于 mFlushingAudio 和 mFlushingVideo 不再是 FLUSH_CMD_NONE,所以 flushDecoder 执行完成后将暂时跳过 performReset 的执行。我们之前了解到 reset 是阻塞执行的,那这里是不是就卡死了呢?

当然不会,decoder 执行完 flush之后会 callback 回来。调用 flush 的过程中 render 也会被 flush,同样也会有个 callback回来,render callback的处理内容和decoder类似,这里暂时就不贴了。

else if (what == DecoderBase::kWhatFlushCompleted) {ALOGV("decoder %s flush completed", audio ? "audio" : "video");handleFlushComplete(audio, true /* isDecoder */);finishFlushIfPossible();}

mFlushComplete 分为两组:

isAudioisDecoder
audiodecoder
audiorender
videodecoder
videorender

handleFlushComplete 需要分别等到audio 和 video 的 decoder 和 render 的 flush callback 都上抛才会真正去执行,如果当前的 FlushStatus 是 FLUSHING_DECODER,那么flush过程就完成了;如果FlushStatus 是 FLUSHING_DECODER_SHUTDOWN,那么还会继续调用 decoder 的 initiateShutdown 方法去释放 decoder 中的资源,并将 status 重新置为 SHUTTING_DOWN_DECODER

void NuPlayer::handleFlushComplete(bool audio, bool isDecoder) {// We wait for both the decoder flush and the renderer flush to complete// before entering either the FLUSHED or the SHUTTING_DOWN_DECODER state.mFlushComplete[audio][isDecoder] = true;if (!mFlushComplete[audio][!isDecoder]) {return;}FlushStatus *state = audio ? &mFlushingAudio : &mFlushingVideo;switch (*state) {case FLUSHING_DECODER:{*state = FLUSHED;break;}case FLUSHING_DECODER_SHUTDOWN:{*state = SHUTTING_DOWN_DECODER;ALOGV("initiating %s decoder shutdown", audio ? "audio" : "video");getDecoder(audio)->initiateShutdown();break;}default:// decoder flush completes only occur in a flushing state.LOG_ALWAYS_FATAL_IF(isDecoder, "decoder flush in invalid state %d", *state);break;}
}

由于 status 为 SHUTTING_DOWN_DECODER,finishFlushIfPossible 将不会有什么动作,接下来会继续等待 decoder shutdown 完成上抛 callback。

else if (what == DecoderBase::kWhatShutdownCompleted) {ALOGV("%s shutdown completed", audio ? "audio" : "video");if (audio) {Mutex::Autolock autoLock(mDecoderLock);mAudioDecoder.clear();mAudioDecoderError = false;++mAudioDecoderGeneration;CHECK_EQ((int)mFlushingAudio, (int)SHUTTING_DOWN_DECODER);mFlushingAudio = SHUT_DOWN;} else {Mutex::Autolock autoLock(mDecoderLock);mVideoDecoder.clear();mVideoDecoderError = false;++mVideoDecoderGeneration;CHECK_EQ((int)mFlushingVideo, (int)SHUTTING_DOWN_DECODER);mFlushingVideo = SHUT_DOWN;}finishFlushIfPossible();} 

收到 kWhatShutdownCompleted 之后 NuPlayer 将会释放掉 decoder,然后执行 finishFlushIfPossible。

finishFlushIfPossible 会重置 mFlushingAudio 和 mFlushingVideo 的状态,然后执行剩下来的被推迟的方法,接下来要执行的是 performReset,进行 reset 函数的收尾。

void NuPlayer::performReset() {ALOGV("performReset");CHECK(mAudioDecoder == NULL);CHECK(mVideoDecoder == NULL);updatePlaybackTimer(true /* stopping */, "performReset");updateRebufferingTimer(true /* stopping */, true /* exiting */);cancelPollDuration();++mScanSourcesGeneration;mScanSourcesPending = false;if (mRendererLooper != NULL) {if (mRenderer != NULL) {mRendererLooper->unregisterHandler(mRenderer->id());}mRendererLooper->stop();mRendererLooper.clear();}mRenderer.clear();++mRendererGeneration;if (mSource != NULL) {mSource->stop();Mutex::Autolock autoLock(mSourceLock);mSource.clear();}if (mDriver != NULL) {sp<NuPlayerDriver> driver = mDriver.promote();if (driver != NULL) {driver->notifyResetComplete();}}mStarted = false;mPrepared = false;mResetting = false;mSourceStarted = false;// Modular DRMif (mCrypto != NULL) {// decoders will be flushed before this so their mCrypto would go away on their own// TODO change to ALOGVALOGD("performReset mCrypto: %p (%d)", mCrypto.get(),(mCrypto != NULL ? mCrypto->getStrongCount() : 0));mCrypto.clear();}mIsDrmProtected = false;
}

reset 函数将会停止并销毁掉 renderLooper 和 render,停止并销毁掉 Source,最后 callback 通知 NuPlayerDriver reset 操作完成。

请添加图片描述

2.6、seekToAsync

如果调用 seekToAsync 时已经 prepare 完成但是还没起播,那么调用 seek 方法会帮助我们调用 start,解出内容后就暂停,从而达到预览的效果。

        case kWhatSeek:{int64_t seekTimeUs;int32_t mode;int32_t needNotify;CHECK(msg->findInt64("seekTimeUs", &seekTimeUs));CHECK(msg->findInt32("mode", &mode));CHECK(msg->findInt32("needNotify", &needNotify));if (!mStarted) {// Seek before the player is started. In order to preview video,// need to start the player and pause it. This branch is called// only once if needed. After the player is started, any seek// operation will go through normal path.// Audio-only cases are handled separately.onStart(seekTimeUs, (MediaPlayerSeekMode)mode);if (mStarted) {onPause();mPausedByClient = true;}if (needNotify) {notifyDriverSeekComplete();}break;}mDeferredActions.push_back(new FlushDecoderAction(FLUSH_CMD_FLUSH /* audio */,FLUSH_CMD_FLUSH /* video */));mDeferredActions.push_back(new SeekAction(seekTimeUs, (MediaPlayerSeekMode)mode));// After a flush without shutdown, decoder is paused.// Don't resume it until source seek is done, otherwise it could// start pulling stale data too soon.mDeferredActions.push_back(new ResumeDecoderAction(needNotify));processDeferredActions();break;}

处理 seek 总共分为3个 Action:FlushDecoderAction、SeekAction、ResumeDecoderAction。其中 FlushDecoderAction 我们在上一节中已经了解过了,不一样的是这里并不会走到 shutdown 的流程中。

SeekAction 核心是调用 Source 的 seekTo:

void NuPlayer::performSeek(int64_t seekTimeUs, MediaPlayerSeekMode mode) {ALOGV("performSeek seekTimeUs=%lld us (%.2f secs), mode=%d",(long long)seekTimeUs, seekTimeUs / 1E6, mode);if (mSource == NULL) {// This happens when reset occurs right before the loop mode// asynchronously seeks to the start of the stream.LOG_ALWAYS_FATAL_IF(mAudioDecoder != NULL || mVideoDecoder != NULL,"mSource is NULL and decoders not NULL audio(%p) video(%p)",mAudioDecoder.get(), mVideoDecoder.get());return;}mPreviousSeekTimeUs = seekTimeUs;mSource->seekTo(seekTimeUs, mode);++mTimedTextGeneration;// everything's flushed, continue playback.
}

seek 完成后会立刻调用 resume 恢复播放,如果这里不恢复就会出现黑屏的情况。resume 主要是用来操作 Decoder,调用 Decoder 的 signalResume,signalResume 执行完成后,decoder 重新开始接收数据,开始播放。

void NuPlayer::performResumeDecoders(bool needNotify) {if (needNotify) {mResumePending = true;if (mVideoDecoder == NULL) {// if audio-only, we can notify seek complete now,// as the resume operation will be relatively fast.finishResume();}}if (mVideoDecoder != NULL) {// When there is continuous seek, MediaPlayer will cache the seek// position, and send down new seek request when previous seek is// complete. Let's wait for at least one video output frame before// notifying seek complete, so that the video thumbnail gets updated// when seekbar is dragged.mVideoDecoder->signalResume(needNotify);}if (mAudioDecoder != NULL) {mAudioDecoder->signalResume(false /* needNotify */);}
}void NuPlayer::finishResume() {if (mResumePending) {mResumePending = false;notifyDriverSeekComplete();}
}

关于 seekToAsync 的第三个参数 needNotify 还要提一下,这里这么设计是因为 seekToAsync 除了我们主动调用外,NuPlayerDriver 那边还有可能自动调用。我们主动调用,需要将执行完成的消息 Callback 到上层,另外stop之后再重新prepare也会调用seek,这里也需要 Callback;自动调用指的是播放结束再调用 start,这里会 seek 到0的位置,不需要 Callback通知上层。

还有一点自己的理解,之前我们大致了解 prepare 是一个异步处理的过程,这个过程中 reset 需要有一些特殊的处理,这里的 seek 也是异步的过程,那 seek 过程中 reset 或者 stop 需要有特殊处理吗?答案是不需要的,seek 会在 Looper 执行,reset 和 stop 的消息需要等待 seek 执行完成再处理,所以这是是顺序执行的,并没有真正的异步。


3、总结

到这里 NuPlayer 的了解就告一段落,里面异步处理的思想 和 播放器的处理流程 还是要多多揣摩学习,回想起自己写的 Player 各种处理速度都不理想,还是太年轻了。

这里再整理关键方法需要执行的内容:

  • setDataSourceAsync:
    1. create Source
  • prepareAsync
    1. Source.prepareAsync
  • start
    1. create Render
    2. create Decoder,start Decoder and Render
  • pause
    1. pause Source
    2. pause Render
  • start (resume)
    1. resume Source
    2. resume Render
  • seekToAsync
    1. flush Decoder (pause) and Render
    2. seek Source
    3. resume Decoder and Render
  • resetAsync
    1. disconnect Source
    2. flush Decoder and Render
    3. shut down Decoder
    4. release Decoder
    5. stop and release Render
    6. stop and release Source

再对比下两个暂停的实现方式:
pause 通过暂停 Source 送数据,暂停 Render 渲染数据来完成,Decoder 不需要暂停;
flush 的暂停通过不给 Decoder 喂数据来实现,不需要暂停 Source。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/101448.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

STL list基本用法

目录 list的使用构造函数和赋值重载迭代器(最重要)容量相关插入删除元素操作reversesortuniqueremovesplice list的底层实际是双向链表结构 list的使用 构造函数和赋值重载 构造函数说明list()无参构造list (size_type n, const value_type& val value_type())构造的li…

基于C++的QT实现贪吃蛇小游戏

文章目录&#xff1a; 一&#xff1a;效果演示 二&#xff1a;实现思路 三&#xff1a;代码实现 widget.h widget.cpp main.cpp 一&#xff1a;效果演示 效果图◕‿◕✌✌✌ 代码下载 二&#xff1a;实现思路 通过按键控制蛇的移动&#xff0c;每吃一个商品蛇身就会加长…

计算机视觉 -- 图像分割

文章目录 1. 图像分割2. FCN2.1 语义分割– FCN &#xff08;Fully Convolutional Networks&#xff09;2.2 FCN--deconv2.3 Unpool2.4 拓展–DeconvNet 3. 实例分割3.1 实例分割--Mask R-CNN3.2 Mask R-CNN3.3 Faster R-CNN与 Mask R-CNN3.4 Mask R-CNN&#xff1a;Resnet1013…

排序算法合集

F B I W a r n i n g : \color{red}FBI \qquad Warning: FBIWarning: 本人没有完整的计算机科班的教育经历&#xff0c;但是一直在兢兢业业&#xff0c;努力学习。 这些排序函数都是自己零零散散写的&#xff0c;也没有经过深思熟虑和优化&#xff0c;纯粹是为了自娱自乐。 …

shell脚本免交互

一.Here Document免交互 1.免交互概述 使用I/O重定向的方式将命令列表提供给交互式程序 是一种标准输入&#xff0c;只能接收正确的指令或命令 2.格式&#xff1a; 命令 <<标记 ....... 内容 #标记之间是传入内容 ....... 标记 注意事项 标记可以使用任意的合法…

2023年菏泽市中职学校技能大赛“网络安全”赛项规程

2023年菏泽市中职学校技能大赛 “网络安全”赛项规程 一、赛项名称 赛项名称&#xff1a;网络安全 赛项所属专业大类&#xff1a;信息技术类 二、竞赛目的 通过竞赛&#xff0c;检验参赛选手对网络、服务器系统等网络空间中各个信息系统的安全防护能力&#xff0c;以及分析…

系统架构:数据库

文章目录 数据库设计关系代数规范化理论求候选键特殊函数依赖Armstrong公理 数据库设计 步骤产出说明1.根据数据要求和处理要求进行需求分析数据流图、数据字典、需求说明书等分析数据流向、数据详细含义等&#xff0c;分析具体需求2.对现实世界进行抽象&#xff0c;进行概念结…

基于 Alpine 环境源码构建 alibaba-tengine(阿里巴巴)的 Docker 镜像

About Alpine&#xff08;简介&#xff09; Alpine Linux 是一款极其轻量级的 Linux 发行版&#xff0c;基于 busybox&#xff0c;多被当做 Docker 镜像的底包&#xff08;基础镜像&#xff09;&#xff0c;在使用容器时或多或少都会接触到此系统&#xff0c;本篇文章我们以该镜…

Jmeter生成可视化的HTML测试报告

Jmeter也是可以生成测试报告的。 性能测试工具Jmeter由于其体积小、使用方便、学习成本低等原因&#xff0c;在现在的性能测试过程中&#xff0c;使用率越来越高&#xff0c;但其本身也有一定的缺点&#xff0c;比如提供的测试结果可视化做的很一般。 不过从3.0版本开始&…

Mysql group by使用示例

文章目录 1. groupby时不能查询*2. 查询出的列必须在group by的条件列中3. group by多个字段&#xff0c;这些字段都有索引也会索引失效&#xff0c;只有group by单个字段索引才能起作用4. having条件必须跟group by相关联5. 用group by做去重6. 使用聚合函数做数量统计7. havi…

基于FPGA的FIR低通滤波器实现(附工程源码),matlab+vivado19.2+simulation

基于FPGA的FIR低通滤波器实现(附工程源码) 文章目录 基于FPGA的FIR低通滤波器实现(附工程源码)前言一、matlab设计FIR滤波器&#xff0c;生成正弦波1.设计FIR滤波器1.生成正弦波.coe 二、vivado1.fir滤波器IP核2.正弦波生成IP核3.时钟IP核设置4.顶层文件/测试文件代码 三.simul…

记忆正则表达式的基本元件

正则常见的三种功能&#xff0c;它们分别是&#xff1a;校验数据的有效性、查找符合要求的文本以及对文本进行切割和替换等操作。 正则表达式&#xff0c;简单地说就是描述字符串的规则。在正则中&#xff0c;普通字符表示的还是原来的意思&#xff0c;比如字符 a&#xff0c;…

小程序中的页面配置和网络数据请求

页面配置文件和常用的配置项 1.在msg.json中配置window中的颜色和背景色 "navigationBarBackgroundColor": "#efefef","navigationBarTextStyle": "black" 2.可以看到home中的没有发生变化但是msg的发生变化了&#xff0c;这个和前面的…

Mimikatz免杀实战:绕过360核晶和defender

文章目录 前言绕过360核晶实现思路完整代码运行测试 绕过WD实现思路MiniDumpWriteDump回调函数加密dump文件 完整代码运行测试 参考文章 前言 通常来说&#xff0c;即使我们成功实现了mimikatz的静态免杀&#xff0c;其抓取hash的行为仍可能会被防病毒软件检测到虽然你可以通过…

算法通关村第九关——透彻理解二分查找

1.前言 常见的查找算法有顺序查找、二分查找、插值查找、斐波那契查找、树表查找、分块查找、哈希查找等。如果进行归类&#xff0c;那么二分查找、插值查找&#xff08;一种查找算法&#xff09;以及斐波那契查找都可以归为插值查找&#xff08;大类&#xff09;。而插值查找…

ES搭建集群

一、创建 elasticsearch-cluster 文件夹 创建 elasticsearch-7.8.0-cluster 文件夹&#xff0c;在内部复制三个 elasticsearch 服务。 然后每个文件目录中每个节点的 config/elasticsearch.yml 配置文件 node-1001 节点 #节点 1 的配置信息&#xff1a; #集群名称&#xff0…

Android相机-架构

引言&#xff1a; 主要是针对CameraAPI v2 HAL3的架构对Android相机系统进行梳理。 相机架构 App和FrameWork packages/apps/Camer2 frameworks/ex/camera2 Camera API v2&#xff1b;Camera2 CameraDevice&#xff1a; CameraCaptureSession&#xff1a; CameraService AIDL…

设计模式(8)外观模式

一、 1、使用背景&#xff1a;降低访问复杂系统的内部子系统时的复杂度&#xff0c;简化客户端之间的接口。 2、定义&#xff1a; 为子系统中的一组接口定义一个一致的界面&#xff0c;此模式定义了一个高层接口&#xff0c;这个接口使得这一子系统更加容易使用。完美地体现…

什么是安全测试报告,怎么获得软件安全检测报告?

安全测试报告 软件安全测试报告&#xff1a;是指测试人员对软件产品的安全缺陷和非法入侵防范能力进行检查和验证的过程&#xff0c;并对软件安全质量进行整体评估&#xff0c;发现软件的缺陷与 bug&#xff0c;为开发人员修复漏洞、提高软件质量奠定坚实的基础。 怎么获得靠谱…

NLP预训练模型超大规模探索

总共从四方面来进行比较。 第一个方面&#xff0c;高层次方法&#xff08;自监督的预训练方法&#xff09;对比&#xff0c;总共三种方式。 语言模型式&#xff0c;就是 GPT-2 那种方式&#xff0c;从左到右预测&#xff1b;BERT-style 式&#xff0c;就是像 BERT 一样将一部…