最近在搞音视频推流时,发现微信小程序端拉流时出现了画面卡死的问题。

现象是这样的,当推流端静音时,小程序拉流卡死;重新播放声音,小程序画面又再次播放


所以说,问题集中在小程序端的拉流和客户端推流的音频上。

首先必须说明的是,我在视频推流时采用的策略是静音期间只推送视频帧,不推送音频帧。

在静音期间试着使用ffplay进行播放,流能够正常播放,所以不存在推流端视频流丢帧的问题

那么问题就可能集中在liverplayer播放器对纯视频帧的rtmp流的播放问题

猜想

那么就有一个大胆猜测

liveplay的播放原理是视频帧的播放依赖于音频帧的pts,结构如下图所示

这样做的好处是可以确保直播时期的音画同步,但是小程序这边没有考虑无音频帧的情况。

image-20191201130047562

验证解决

既然只是需要一个pts,那么完全可以再静音期间推送空的音频帧,已确保音频的pts连续

那么播放器的画面就应该不会卡顿

image-20191201130406331

试验一下,果然小程序的画面不再卡死


参考文献:


本文会经常更新,请阅读原文: https://xinyuehtx.github.io/post/%E5%BE%AE%E4%BF%A1%E5%B0%8F%E7%A8%8B%E5%BA%8F%E8%A7%86%E9%A2%91%E6%B5%81%E9%9D%99%E9%9F%B3%E5%90%8E%E7%94%BB%E9%9D%A2%E5%8D%A1%E6%AD%BB%E9%97%AE%E9%A2%98%E7%A0%94%E7%A9%B6.html ,以避免陈旧错误知识的误导,同时有更好的阅读体验。

知识共享许可协议 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。欢迎转载、使用、重新发布,但务必保留文章署名黄腾霄(包含链接: https://xinyuehtx.github.io ),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。如有任何疑问,请 与我联系