这么好用的低延时直播,网易云信竟然将它开源了?!

谈起直播,没有人会感到陌生。

自上世纪末,流媒体直播技术兴起以来,伴随着网络基础设施的发展脚步,直播也同频共振般地起势。而近年来 AI、云计算、音视频等技术日趋成熟,以及新冠肺炎疫情带来的“宅经济”刺激,使直播行业的发展势头被进一步激活。

根据中国互联网络信息中心(CNNIC)发布的《中国互联网络发展状况统计报告》统计数据显示,到 2021 年 6 月,中国网络直播用户规模已达到 6.37 亿人,直播市场规模接近 3000 亿元。

这么好用的低延时直播,网易云信竟然将它开源了?!

01 直播是个好东西,但直播延时不是

通过网络直播,你可以轻松观看到大洋彼岸正在进行的紧张体育赛事,也可以足不出户就阅尽祖国的大好河山、日出日落,甚至与 6000 万陌生人一起“云监工”火神山医院建设进度,为疫情防控力量点赞。

这么好用的低延时直播,网易云信竟然将它开源了?!

直播是个好东西,但,直播延时并不是。

或许你曾熬夜守在电商直播间,在秒杀倒计时中,因延时被人捷足先登;也或许在上网课时,因延时错过了重要的知识点;还或许在体育比赛关键时刻,因延时被提前“剧透”了结果。

凡此种种的破坏性体验,皆是「延时」惹的祸。

02 直播体验破坏者:「延时」如何产生?

那么,作为音视频直播体验的破坏者,延时究竟从何而来?

与声和光在介质中的收发及传输一样,音视频数据的编解码和传输同样需要时间。音视频直播的传输链路主要涉及采集、预处理、编码、数据传输、服务器转码、解码等环节,每一环节都会产生延迟。

量变引起质变,当这些分布于各个环节的细微延迟不断叠加,就会形成整体直播的延时,进而折射到用户体验上。

通常来说,整个链路的延迟可分为 3 个类型:设备端处理延迟、端与服务器的传输延迟、服务器间的传输延迟。

以快递包裹的物流运输来类比:

● 设备端处理延迟:与快递发件前打包和收件后拆包相似,数据也需经过采集端的采集编码、打包发送以及播放端的收包解码、渲染播放。延时与硬件性能、采用的编解码算法、音视频数据量等强相关。

● 端与服务器的传输延迟:与快递员的揽收和派送相似,这里的延时通常与客户端和服务器间的物理距离、客户端和服务器的网络运营商、终端网络网速、负载和网络类型等有关。

● 服务器间的传输延迟:就像快递在各个物流分拨中心、中转站的流转,数据在服务器之间排队、传输、流转,延时与传输路径的选择有关。

这 3 种类型的延迟,除了设备端延迟与硬件性能强相关,后两者之和便是业界重点着力优化的“端到端延时”。

03 低延时直播:强互动场景的最佳解题思路

3~5 秒的延时常见于国内多数的 CDN 直播形式中,这些场景主要采用 HTTP-FLV 和 RTMP 协议的传输形式,如:游戏直播不强调互动性,关键帧延时通常在 8~10 秒;赛事直播对流畅性要求更高,一般会选择 HLS 协议,延时会达到 10 秒以上。

随着“全民直播”到来,直播模式和内容也在不断创新,连麦直播、在线课堂、电商直播等新模式不断涌现。采用 CDN 直播,对这些强调互动性的场景来说,延时超过 1 秒,玩法可能就无法进行下去了。

那么,实时音视频表现如何?

它能适用于观众与主播频繁互动、对实时性要求高的场景,使二者之间的内容延迟控制在 300ms 内,真实还原线下面对面的交流体验。但此方案在网络优化、回声消除等问题上依然复杂,最重要的是实时音视频方案以时长计费,通常实现成本较高。

延时与成本就像是天平的两端:延时越低,方案成本越高,反之亦然。

于是,“优等生”低延时直播提供了一个解题思路,找到了两者之间的平衡点,在可接受的延迟下兼顾更强的直播能力,带给用户更佳的互动体验。既能满足主播与观众间低频次的互动需求,使二者之间的内容延迟控制在 1s 左右,又能支持百万人同时在线,同时将成本控制于 CDN 和实时音视频之间,使方案的整体成本更加可控。

04 都是低延时直播,网易云信有何不同?

有需求的地方,就有闻风追赶的人。事实上,在洞察到市场对低延时直播客观存在的需求后,嗅觉敏锐的各大云厂商都陆续推出了各自的短延时、低延时、超低延时直播产品。

纷繁复杂的命名背后,技术究竟有何不同?

传统直播领域存在着三大指标:首屏时间、延迟、卡顿率。低延迟直播技术的难点在于:如何实现卡顿率持平甚至更优于 RTMP 拉流技术的前提下,大幅降低首屏时间和延迟,从而带给用户更好的直播体验。

工欲善其事,必先利其器。作为网易智企旗下的融合通信云服务专家,网易云信融合了自身在 CDN 和 RTC 领域多年的技术积累和经验沉淀,结合 WebRTC 标准的媒体流技术,在首屏时间、延迟、卡顿率方面做了深度的优化。

(1)首屏时间优化

● GOP 缓存首屏优化

假设用户推流端的 GOP 是 5 秒,在某些情况下,拉流端需等待接近 5 秒才能收到第一个 I 帧,首屏才能开始渲染。这对强互动性直播场景来说是不可接受的。

网易云信的解决方案是在媒体服务器里进行 GOP 缓存,缓存最近 1-2 个 GOP 的媒体包在 Server 端。当客户端和媒体器媒体连接成功后,先发送 GOP 缓存里的媒体包,再发送当前的媒体数据。客户端在收到媒体包后,需要根据一定的策略对齐音视频包,再加速追帧。

在具体的实践过程中,需注意 GOP 缓存大小、客户端的 Jitter buffer 大小的配合、GOP 缓存里音视频的对齐、不同的推流端不同 GOP 长度的适配等情况。

● Pacer 平滑发送

若推流端设置的 GOP 较大,当拉流客户端媒体连接成功后,会一股脑地向客户端发送全部的 GOP 数据,可能会造成客户端缓冲溢出或其他问题。这时 Server 的 Pacer 平滑发送就需发挥作用了。

在具体的实践过程中,需注意 Pacer 的追帧速率与客户端追帧速率的配合。

(2)延迟优化

● WE-CAN 全球智能路由网络

直播行业之所以能够蓬勃发展,在技术方面,CDN 厂商的云端能力起到了很大的推动作用。CDN 加快了边缘节点的回源速度,边缘节点又加快了拉流终端的接入速度。

为了加快回源速度,回源媒体服务的选择会尽可能接近 CDN 的区域中心节点;为了优化客户端的接入性能,拉流媒体服务器也要尽可能的接近拉流客户端,因此媒体如何迅速地从回源媒体服务传输给拉流媒体服务就至关重要。

WE-CAN 很好地承担起了职责。作为网易云信自研的大规模分布式传输网络,WE-CAN 通过对各种资源智能调度,来实现全球任意两个媒体服务器之间的快速、稳定传输。WE-CAN 起到了对比传统 CDN 更迅捷,更稳定,更智能,覆盖范围更广的加速传输的作用。

(3)卡顿率优化

网易云信支持标准 WebRTC 媒体流接入,并通过深度优化 GCC,ARQ,FEC,RED 等各类 QoS 策略达到自适应匹配各种复杂网络的能力,在 40% 丢包的情况下,依然能流畅直播。

05 No.1:业界首个开源的低延时直播方案

前不久,网易智企发布了“易+”开源计划,并正式开源网易会议组件,帮助各行各业用户构建稳定可靠、高清易用的专属会议系统。

如今,我们将低延时直播方案也开源了,并成为业界首家开源低延时直播方案的厂商。

这么好用的低延时直播,网易云信竟然将它开源了?!

过去几年,中国开源发展迅速。越来越多的开发者加入了开源贡献行列,以满腔才华和热情贡献技术,推动全球开源生态的进一步繁荣。同时,高质量的开源项目已成为基础设施的重要基石。数据显示,90% 以上的企业业务已构建在开源软件、开源项目之上,开源的影响力正以数字量化的形式呈现在世人面前。

作为业界首个开源的低延时直播方案,网易云信目前开源了信令交互协议、低延时引擎、播放器插件。

我们开放了信令交互流程,支持标准的 SDP 协商和 ICE 建连,开发者只需集成一套低延时播放器,就可实现同时对接多家低延时直播厂商,大大减小包体积的增量。

同时,针对低延时直播场景深度定制了 WebRTC 引擎,支持 AAC、B 帧和多 Slice;并对首帧和端到端延时都进行了优化,目前首帧时间控制在 200ms 左右,端到端延时控制在 1s 以内。

为了方便在现有播放器集成低延时直播引擎,网易云信还开源了基于标准 FFmpeg 插件形态的低延时直播播放器插件,开发者只需要修改少量代码就可让现成的播放器具备低延时直播的能力。

未来,网易云信还会开源低延时直播引擎的裁剪版本,进一步优化包体积和各种播放指标。并继续推出开源的低延时直播推流引擎和低延时推流插件,提供低延时直播的全链路解决方案,进一步降低开发门槛,推动低延时直播行业的快速发展。

秉持着开放与分享的技术态度,我们将始终致力于通过高质量的开源项目,与行业共同探索开源的巨大社会价值。

文章标题:这么好用的低延时直播,网易云信竟然将它开源了?!,发布者:网易智企,转载请注明出处:https://worktile.com/kb/p/11323

(2)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年5月16日 下午10:44
下一篇 2022年5月23日 下午2:13

相关推荐

  • 微步在线CEO薛锋:To B勒索呈爆发态势

    文| babayage 编辑 | 笑 笑 管理能力成长于微软 价值观念师承亚马逊 采访多年,最惧怕的N款访谈对象类型中,一定包括“此人能力相比平均水准呈现出过度离散的状态”,盖因从天才身上很难挖掘出可被大众学习、效仿的信息点。 在安全技术领域,薛锋配得上天才二字:80后,毕业于同济大学,彼时信息安全…

    2022年3月20日
    24200
  • HCR慧辰资讯董事长兼CEO赵龙:上市只是开始,“一云两数”布局数字化赛道

    文| babayage 编辑 | 笑 笑 2020年7月16日,北京慧辰资道资讯股份有限公司(股票代码:688500,简称:HCR慧辰资讯)在科创板上市。 时近一年,HCR慧辰资讯董事长兼CEO赵龙与《科创人》进行了一次足斤足量的诚意分享。沟通话题遍及个人成长、创业经验、管理心得、上市经历、公司未来…

    2022年3月20日
    20600
  • 融云CEO韩迎:飞信十年珍贵历练,做To B别有取巧的心思

    文| babayage 编辑 | 笑 笑 4年苦修通信工程 两年职场转型销售 韩迎大学就读于中国互联网黄埔军校之一的北京邮电大学通讯工程专业。毕业那年,韩迎短暂纠结过是要考研还是加入外企,但在那个年代,外企是职场鄙视链顶端的存在,面试套路满满都是“正宫范儿”,“给你留指标、给你签就业协议、给你北京户…

    2022年3月20日
    16900
  • 域名劫持——网易云信 IM SDK 服务高可用技术方案

    “域名劫持是互联网攻击的一种方式,通过攻击域名解析服务器(DNS),或伪造域名解析服务器(DNS)的方法,把目标网站域名解析到错误的 IP 地址从而实现用户无法访问目标网站的目的,或者蓄意/恶意要求用户访问指定 IP 地址(网站)的目的。”(以上内容引自「域名劫持」百度百科) 。网易云信 IM SD…

    2022年3月17日
    22500
  • Active Noise Cancelling-主动噪声消除

    我们生活中充斥着各种噪声,而随着科技的进步,各种音频降噪技术也不断涌现。主动降噪(Active Noise Cancelling)技术属于降噪技术的其中一种,其基本原理是通过播放“反波(Anti-Signal)”在声学环境中来抵消噪声。主动降噪已经被广泛应用到了耳机中,各种“主动降噪耳机”也应接不暇…

    2022年3月16日 技术资讯
    23600
  • 富士康CDO史喆:To B产品切忌臃肿,数字化不分对错只求更好

    2006年,毕业于北京大学数学科学学院数学系,先后供职于谷歌、云云网和豌豆荚。加盟知乎后,李大海先后负责过广告技术团队、数据、算法和整体社区业务,目前统筹负责知乎大数据团队、内容流通和AI新业务的拓展。 —文 | babayage 编辑 | 笑 笑 2006-2010 告别数学加盟谷歌 成…

    2022年4月17日
    17200
  • 优艾智合创始人张朝辉:死磕细分行业Know-How,中国制造将引领全球移动机器人市场

    西安交通大学机器人学博士研究生 中国自动化学会制造系统控制专业委员会副秘书长 2019恰佩克杰出青年创业者,主持多项省重点研发计划 文 | babayage编辑 | 笑 笑 优艾智合,移动机器人赛道领航者,创始团队脱胎于西安交大机器人专业博士团队。2017年走出象牙塔,至今短短5年时间,不…

    2022年8月25日
    12100
  • 爱因互动洪强宁:参与创业≠创业,融到钱的那晚我失眠了

      文|babayage 编辑 |羽葶 2006结缘阿北8年完整亲历创业厂牌成长 2006结缘阿北 科创人(以下简称科):很多技术前辈都有过在某个时期——入职一家契合自己的公司或接触到一项与自己同频的技术——成长速度明显提升,您在创建爱因互动之前经历过14年的职场生活,有没有类似的体验? 洪强宁(以…

    2022年3月20日
    16000
  • 光速中国韩彦:投资小鹏汽车、满帮后,要培养10位比自己强10倍的投资人

    文 | babayage 编辑 | 笑 笑 噪音充斥这世间,二十年后我在何处? 有别于早早建立人生梦想的成长模式,韩彦最初的成长动能,来自“我不想……” 学生时代,韩彦拿到了8块无线电国际竞赛的金牌,这项比赛的主要形式:在极大噪音和极快播速的干扰下,尽可能准确记录摩尔斯电码,“手上写着30秒之前听到…

    2022年3月20日
    17900
  • 华傲数据CEO贾西贝:梦想驱动的九个人生抉择

    文| babayage 编辑 | 笑 笑 贾西贝说,自己的性格有两大特点,第一是不安分,第二是不信邪。 这是一位典型的逐梦之人,不安分是直奔目标、拒绝平庸的勇敢,不信邪是不打折扣、不甘妥协的坚定。 抉择一: 抱梦计算机方向,拒绝本硕博连读 1985年,小学二年级的贾西贝,成为了中国最早一批接触到计算…

    2022年3月20日
    15300

发表回复

登录后才能评论
联系我们
关注微信
关注微信
分享本页
返回顶部