直播基本流程

直播基本流程

这里不涉及到业务相关 , 这里简要说明直播流程

推流端: 负责将本地的音视频数据推送至流媒体服务器

流程:音视频数据采集->编码->封装->协议封包
功能:美颜滤镜、音效处理、回音消除

播流端:负责拉取流媒体服务器的音视频数据到本地解码播放

流程:网络流数据->解协议->解封装->解码->音视频同步
功能:动态追帧、硬件加速、首屏秒开、高效解码

流媒体服务器:负责直播流的创建,分发到各个cdn节点,加快流的解析,以及各种流的管理统计等等

功能: CDN分发、实时转码、视频录制、Qos、自动鉴黄

一、推流端

音视频采集

通过摄像头和麦克风获得实时的音频原数据,例如PCM数据。视频原数据,例如yuv420p,rgb数据。
注意:有关音频特效(变声)和视频特效(大眼瘦脸)就是对音视频原数据的处理

编码

音频编码:将音频采样数据(PCM等)压缩成音频码流,从而降低音频的数据量
视频编码:视频编码的主要作用是将视频像素数据(RGB,YUV等)压缩成视频码流,从而降低视频的数据量

封装

封装格式的主要作用是把视频码流(H264数据)和音频码流(AAC数据)按照一定的格式存储在一个文件中(FLV文件)

协议封装

对封装格式的文件(flv、mp4等)进行rtmp、http、hls等协议的封包过程

二、播流端

在这里插入图片描述
播流需要经过以下几个步骤:解协议、解封装、解码视音频、视音频同步。如果播放本地文件则不需要解协议。

解协议

就是将流媒体协议的数据,解析为标准的相应的封装格式数据。视音频在网络上传播的时候,常常采用各种流媒体协议,例如HTTP,RTMP,或是MMS等等。这些协议在传输视音频数据的同时,也会传输一些信令数据。这些信令数据包括对播放的控制(播放,暂停,停止),或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如,采用RTMP协议传输的数据,经过解协议操作后,输出FLV格式的数据。

解封装

就是将输入的封装格式的数据,分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多,例如MP4,MKV,RMVB,TS,FLV,AVI等等,它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如,FLV格式的数据,经过解封装操作后,输出H.264编码的视频码流和AAC编码的音频码流。

解码

就是将视频/音频压缩编码数据,解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC,MP3,AC-3等等,视频的压缩编码标准则包含H.264,MPEG2,VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码,压缩编码的视频数据输出成为非压缩的颜色数据,例如YUV420P,RGB等等;压缩编码的音频数据输出成为非压缩的音频抽样数据,例如PCM数据。

视音频同步

就是根据解封装模块处理过程中获取到的参数信息,同步解码出来的视频和音频数据,并将视频音频数据送至系统的显卡和声卡播放出来。

三、流媒体服务器

在这里插入图片描述

下图是参加了业务相关
在这里插入图片描述
想从代码层了解推拉流以及播放过程,雷神博客 https://blog.csdn.net/leixiaohua1020

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/30508.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

实现简单的直播互动功能,直播软件源码是如何做的

近两年,很多电商平台开始关注起直播互动电商,希望在直播中,也可以增加互动,例如在直播过程中,抛出限量优惠商品,实时发送抢购的消息给观众。于是我们做了一个简单的直播软件源码Demo。 Demo大致的整体想法…

直播系统聊天技术(七):直播间海量聊天消息的架构设计难点实践

1、引言 在视频直播场景中,弹幕交互、与主播的聊天、各种业务指令等等,组成了普通用户与主播之间的互动方式。 从技术的角度来看,这些实时互动手段,底层逻辑都是实时聊天消息或指令的分发,技术架构类比于IM应用的话&am…

直播间聊天item图文混排思路

目录 1.版本需求 a.初版本 b.表情包版本 2.思路剖析 a.拼接格式 b.生成格式的操作 c.遍历所有文字,替换图片 d.网络图片的替换逻辑 e.本地图片的替换 f.本地图片快速存储到map g.注意 先上设计图 1.版本需求 a.初版本 一开始,不需要展示聊天…

新媒体运营胡耀文教程:直播间10大话术总结,互动话术不冷场

不知道说什么,不知道怎么说,直播间没人,直播间冷场,这是很多新手主播都会遇到的问题。总结了直播间的10大话术,希望对大家有所帮助。 很多主播,尤其是新人主播,开始和陌生人聊天的时候会感觉到…

《人民日报》申论素材积累

今天我们积累申论素材、必背金句和重点知识。它们来自于一周以来,我们学习的五篇人民日报申论范文,分别是: 1.《传承和弘扬好中华优秀传统文化》(周一) 2.《无限的未来都以现在为渊源》(周二)…

利用telnet SMTP给QQ邮箱发邮件

学习计算机网络自顶向下,SMTP协议 步骤一:开启Windows的telnet客户端 打开“控制面板”中“程序”中的“启用或关闭Windows功能” 勾选“Telnet客户端”开启服务 步骤二:打开cmd 这个大家都会 步骤三:命令 SMTP默认端口号是25…

Telnet 发邮件

使用Telnet给163邮箱发送邮件 首先打开系统的Telnet客户端. 将telnet客户端选上 打开cmd命令窗口 连接163的smtp服务器: telnet smtp.163.com 25 (smtp.163.com是163邮箱的服务器,25是端口号!) 如下表示连接成功! 连接成功后需要如下步骤发送邮件: 1.与服务器打招呼: e…

使用PHPMailer发送outlook邮件

PHPMailer: 在微软账号下设置双重验证: 点击安全选项 点击开启 下一步 点击下一步操作: 选择取消 下一步 完成 这时可以看到应用密码、点击即可看到16位的应用密码

国内主流AI大模型盘点

今年年初,轰动科技圈的大事就是ChatGPT的面世,它的到来打响了AI智能时代的第一枪,同时展开了一场别开生面的智能科技革命。 随着ChatGPT迅速走红,国内各大企业纷纷发力认知大模型领域。经过一段时间的酝酿,国内的AI领域也开启了“…

华为申请注册盘古大模型商标;英伟达 A800 一周涨价超 30%;Apache Tomcat 10.1.11 发布 |极客头条...

「极客头条」—— 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧。 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews) 一分钟速览新闻点&#…

投资理财-不追高

连续44个交易日上万亿,有人说牛市来了,我们需要保持淡定,提个醒,不要去追高,坚持自己的交易规则

投资理财-普通投资的策略

没有太多时间精研个股,未能及时跟踪公司信息,可以考虑指数基金,获取平均收益。 比较合适的有聪明的投资者里面的股债平衡,年轻人可以宽指,在市场另请的时候投入,市场过热的时候出来。

国瀚实业|个人如何投资理财

说到投资理财,很多人并不生疏,那么,2022年个人如何投资理财呢?下面本文就为大家做解答。 1、先保证生活再理财 生活中有很多事情的发生都是难以预料的,比如说下岗失业、突发疾病、投资失败等。而这些事情一旦发生&am…

英伦四地到底是什么关系?

英格兰、苏格兰、威尔士和北爱尔兰四地到底是什么关系,为何苏格兰非要独立?故事还要从中世纪说起。 大不列颠岛位于欧洲西部,和欧洲大陆隔海相望。在古代,大不列颠岛和爱尔兰属于凯尔特人的领地。凯尔特人是欧洲西部一个庞大的族群…

春夏流行英伦风休闲皮鞋 男士尖头皮鞋搭配打造品位潮男

这款英伦风休闲皮鞋,较为圆滑的尖头绑带设计,让人感觉亲切。浅棕色经典百搭,搭配白色衬衫和黑色休闲裤,展现出干净的书生气息。 这款英伦风休闲皮鞋,渐变的深棕色,给人沉稳大气的感觉,尖头设计&…

叶英伦彩墨山水国画

《叶英伦彩墨山水画国画技法》一部由香港岭南画派国际著名书画家叶英伦编著并由岭南美术出版社出版和全国发行的图书。本画书内容讲解理论精炼,达到言简意赅,图例色彩丰富能使学习者更好的掌握美术基础知识。 本画书系统地讲解山水画技法,包括…

npm run dev 后dist 被情况_英国十大90后男明星,高颜值好身材好演技,英伦风更显男人风范...

英国明星不仅颜值高、演技好,还有内涵、充满男性魅力。而这些90后男星精致立体的五官,高大健硕的身材都让人移不开视线。那么英国最帅90后男明星是谁呢?今天TOP10Lists盘点了英国十大最帅90后男星,快来看看你最喜欢的英国90后帅哥…

来自春天的仪式感:英伦花艺佳作,用鲜花点缀生活丨好书优选

关注“潜在价值”,最好的技术商业媒体,了解那些智慧商业 本文由潜在价值旗下 创意产品推荐平台“钛空舱”推出 钛空(ID:TiKong-life) 一个关注于科技与创意生活的选品、荐品平台 新奇、实用、品质保证 一切关于未来生活…

梦想还是要有的,万一实现了呢?

这是杂货铺的第457篇文章 最近就上次的英超之旅,接受了国安迷弟的专访,很感谢给我这次机会,能和更多的朋友进行交流和分享。从旅程中,能学到些什么,领悟到些什么,让更多人受益,才会更加有意义。…

英超梦幻之行

在去年这个时候,我做了件至少对我来说梦一般的事。一个人,一个箱子,一个背包,踏上了英伦赛场,游历3个城市,打卡9个球场, 其实,要说激励这趟行程的点,可能就是看了BTV-6的…