亮相 LiveVideoStackCon 2021,网易云信分享 QoS 优化之道

2021 年 4 月 16 日,多媒体技术领域盛会 LiveVideoStackCon 音视频技术大会在上海举行。本届会议以“新技术,新机会”为主题,聚焦在音频、视频、图像等技术的最新探索与应用实践。

作者:王兴鹤 网易云信资深音视频引擎开发工程师

数十位业内知名讲师与来自全国各地的音视频工程师、多媒体工程师、图像算法工程师、运维与物联网工程师等分享了技术创新与最佳实践。

网易云信资深音视频引擎开发工程师王兴鹤受邀参会,在“网络传输与 RTC”专题会场中进行了题为《网易云信 QoS 优化实践》的主题演讲,分享了在弱网环境下,提供良好音视频传输服务的思路和优化经验,以及云信在 QoS 优化方面具体的实践和思考,精彩分享获得参会者的一致好评。

一、如何应对爆发式的音视频数据增长?

随着 AI 和 5G 的到来,以及疫情的变化,音视频数据呈现爆发式增长,音视频应用变得更加广泛,人们对音视频的品质需求也越来越高,视频分辨率从高清发展为超高清、VR,视频帧率也已出现 60fps、120fps 等应用,交互式的应用对端到端延时也提出了更高的要求。与此同时,设备的硬件性能也突飞猛进。

可以预见,随着 5G 的应用更为普遍,网络中传输的数据将会呈现爆发式增长,大量数据将会给网络传输带来巨大的挑战——网络服务提供商需要在技术层面做到对瞬息万变的网络环境有很强的适应能力,需要合理利用抗丢包、抗抖动,拥塞控制等手段应对变化的网络,需要在不同的网络特征和用户场景下充分发挥各项技术的优势,扬长避短,在有限的网络资源中,找到延时、画质、流畅三者之间的最佳平衡点,提供良好的音视频传输服务。

亮相 LiveVideoStackCon 2021,网易云信分享 QoS 优化之道

王兴鹤在演讲中认为:“虽然网络中常见的问题有丢包、抖动、拥塞、延时等不同的分类,但这些弱网的分类并不独立存在,而是会相互转化,相互影响;另外从接收端 QoE 的角度来看,网络问题固然会是我们分析弱网影响的重要部分,但音视频链路中其它环节带来的体验上的影响也不容小觑。为了给用户带来良好的音视频体验,QoS 优化是整体的综合性的优化。”

二、用技术组合拳实现效果最大化

针对上述的一系列弱网问题,网易云信的 QoS 引擎采用了大量的技术手段进行抵抗,比如重传、FEC、GCC、Jitter Buffer 等,具体阐述如下:

FEC(前向纠错码)是在发送端额外发送一些冗余数据,用于抵抗网络丢包。当接收端检测到媒体数据发生丢包时,就可以利用接收到的冗余数据进行丢包恢复。

重传是当接收端检测到丢包时通过反馈给发送端丢包信息(NACK)进行相应数据的重传,最大的好处是码率利用率高,缺点是会引入额外的丢包恢复抖动,从而拉大延时。

Jitter Buffer 的作用是以最低的缓冲延时代价消除数据抖动,提供流畅的播放帧率,也就是说,在解码之前的任何环节引入的数据抖动,都会汇总到 Jitter Buffer 模块处理抖动消除。

除了重传、FEC 等常规手段之外,长期参考帧技术打破了传统的向前一帧的参考规则,可以更加灵活地选择参考帧;在有丢包的场景下,接收端不需要等待丢包恢复也能继续显示画面,其最大的好处是低延时,不需要等待重传恢复,但是带来了压缩率的牺牲,在相同码率下表现为图像质量的牺牲;但长期参考帧比较适合 1V1 的场景,而多人场景时,需要大小流和 SVC 发挥作用,在带宽不足时,不同用户对清晰优先和流畅优先的需求不一样,SVC 和大小流提供了灵活的机制满足不同应用的需求。

而具体到应用场景时,王兴鹤说:“我们要注意到不同应用场景的需求,比如通信场景更多的是用 FEC,重传作为辅助,提升实时性。直播场景更多是用重传,FEC 作为辅助,提升清晰度。”

这意味着,每一种技术都有各自的优点和不足,在解决主要问题的同时,可能会带来不同的收益降低;在不同的应用场景下,对于技术的选择也有不同要求。因此,仅仅支持了这些功能并不是很困难,困难的是如何调试优化各个模块的相关参数,让各个功能相互配合。

经过一系列综合优化后,网易云信的音视频通话可以做到端到端延时小于 200ms,最高可抗 1000ms 网络抖动,在网络丢包 70% 时仍能正常通话。

三、制定差异性策略 持续优化

在王兴鹤看来,QoS 的优化是个长期持续的过程,主要体现在三个方面:

首先,是各类算法还需要不断的升级,FEC、重传、Jitter Buffer、Neteq、GCC 等都需要进一步地精细化,并结合 AI 技术和反馈机制,适应不同网络的情况。

其次,要理解不同场景、不同用户的个性化需求,细分服务的颗粒度,提供更加差异化的产品和服务。

例如 1v1 场景大多是交互性的应用,因此对延时和流畅要求较高;而多人场景中又可以细分 1vN、NvN 等,多人会议中,网络中传输流的数量将呈指数型上升,对算法和整体稳定性提出了更高的挑战。不同的场景的需求有明显的特征,我们需要将这些特征跟我们的算法和架构深度关联,将一些损失和收益的平衡做到极致,提供最高性价比的服务。

最后,要注意数据结果对产品迭代和优化的驱动,不能只是在理论层面做得很完善,还要结合实际执行效果的观测来建立闭环的反馈和优化机制。

这也是网易云信 QoS 引擎迭代升级的思路:对大部分场景,或者大部分指标都有优化技术的项目,那就相对简单,可以全面铺开落地;而对于有得有失的技术优化,首先需要做大量的对比测试、验证,尽可能得出各种情况下的实验室理论结果;其次要求所有已发版的相关功能参数可控,结合线上实际的观测数据,做数据挖掘和综合分析,形成数据驱动下的闭环效应,线上数据一方面可以验证实验室的测试结果,另一方面可进一步指导后续优化工作。

“QoS 优化最大的困难是如何把握各项资源的平衡,并寻找到最佳平衡点“,王兴鹤总结说,这也是网易云信 QoS 引擎在进行的深层次的 QoS 优化工作——基于场景的优化,制定差异化的策略适应不同的场景,并不断迭代优化。

作者介绍

关于网易云信

网易云信:网易智企旗下融合通信云服务专家、通信与视频 PaaS 平台。集网易 24 年 IM 以及音视频技术打造的融合通信云服务专家,稳定易用的通信与视频 PaaS 平台。提供融合通信与视频的核心能力与组件,包含 IM 即时通讯、5G 消息平台、一键登录、信令、短信与号码隐私保护等通信服务,音视频通话、直播、点播、互动直播与互动白板等音视频服务,视频会议等组件服务,并联合网易易盾推出一站式安全通信方案「安全通」。目前,网易云信已经成功发送 1.6 万亿条消息,覆盖智能终端 SDK 数累计超过 186 亿,我们期待每个智能终端都有云信的融合通信能力。

文章标题:亮相 LiveVideoStackCon 2021,网易云信分享 QoS 优化之道,发布者:网易智企,转载请注明出处:https://worktile.com/kb/p/5812

(1)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年3月16日 下午10:36
下一篇 2022年3月16日 下午10:41

相关推荐

  • PingCode 完成近亿元人民币C轮融资,打造世界级研发管理与协作平台

    智能化研发管理工具PingCode正式宣布完成近亿元人民币C轮融资。 本轮融资由晨壹投资领投,老股东斯道资本和亿联凯泰基金跟投,云岫资本担任独家财务顾问。 本轮融资,将主要用于招募行业顶尖人才、加速产品及客户服务体系进化、为数字化企业提供更高价值服务。 作为企业服务行业的领先产品,PingCode始…

    2022年4月27日
    24000
  • 如何查询 IP 地址

    要查询您的路由器的公共 IP 地址,最简单的方法是在 Google /百度上搜索“我的 IP 地址是什么?”。Google/百度会在页面顶部向您显示答案。还有其他一些网站因为您的路由器在访问该网站时发出了请求,所以也能为您显示相同的信息。 要查询您的路由器的公共 IP 地址,最简单的方法是在 Goo…

    2022年10月24日
    1900
  • 开源的原则是什么

    开源的原则有:1、社区;2、透明度;3、开放式协作;4、快速原型制作;5、包容性精英领导体制。其中,开源社区是一群人为实现共同目标而聚集在一起而形成的社区。他们共同的价值观和目标指导决策,并推动开源项目向前发展。 一、开源的原则 任何开源项目背后的核心原则如下: 1、社区 开源社区是一群人为实现共同…

    2022年11月8日
    2400
  • Windows下Core Audio APIs的使用简介

    如今,越来越多的产品开始使用音视频功能,其中部分有开发能力和需求的用户,希望能自主实现部分端侧的数据采集和设备管理功能。本篇文章将分享Windows 下音频设备相关能力实现,重点讲述 Core Audio Apls 在实时音视频中需要用到的相关功能,针对各个功能点简单展示实现方式,并给出一些注意事项…

    2022年3月17日
    37000
  • 软件测试缺陷管理系统有哪些

    缺陷管理工具有:1、Jira;2、CoCode评审工具;3、Worktile;4、Bugzilla。软件缺陷管理是在软件生命周期中识别、管理、沟通任何缺陷的过程(从缺陷的识别到缺陷的解决关闭),确保缺陷被跟踪管理而不丢失。 1、Jira Jira是Atlassian公司开发的项目与实务跟踪工具,被广…

    2022年11月14日
    3300
  • 深度:PMF是什么?为什么它对企业服务公司如此重要?要如何建立企业的PMF?

    本篇文章将围绕以下问题展开:1、PMF(产品和市场的匹配度)是什么?2、为什么它对企业服务公司如此重要?3、企服行业要如何找到自己的PMF PMF和产研体系都是比较大的话题,但随着SaaS公司的业务从初级阶段走向规模化增长阶段,这也是必然被产品团队/创始团队关注的问题。 希望通过这次发布会,分享我们…

    2022年9月7日
    11400
  • 如何提高研发效能度

    提高研发效能度需要做到以下几点:1、从痛点入手;2、从全局切入;3、用户获益;4、持续改进;5、全局优化;6、效能平台架构的灵活性;7、杜绝“掩耳盗铃”;8、做自己研发效能平台的第一个用户。 1、从痛点入手 很多时候,当我们手上拿着锤子的时候,看什么都像钉子。但是研发效能的提升恰好是反过来了,我们要…

    2022年11月16日
    2900
  • 什么是数据挖掘

    数据挖掘非常类似于采矿者筛选泥土以寻找金块的方法,这是筛选大量数据以查找可用于特定用途的相关信息的过程。作为计算机科学的一个分支学科,数据挖掘在本质上完全与模式相关。 什么是数据挖掘 数据挖掘非常类似于采矿者筛选泥土以寻找金块的方法,这是筛选大量数据以查找可用于特定用途的相关信息的过程。作为计算机科…

    2022年11月6日
    1600
  • 项目集管理标准是什么

    项目集管理标准是由美国项目管理协会推出的一个重要的国家性的,也是事实上的全球性的标准,是最新版的项目管理知识体系指南内容的扩展与补充。这些内容清晰、完整并且相互关联,是得到广泛认可的、在大多数情况下适用于大多数项目集的极佳实践。 项目集管理标准是由美国项目管理协会推出的一个重要的国家性的,也是事实上…

    2022年11月30日
    700
  • 17汽车网黄玲艳:乐天派程序媛,梦想是打造社会型企业

    程序媛本就罕见,做到技术管理者的更是少之又少。采访黄玲艳(Helen)前多少有些纠结:“女性”显然是她的特色标签,但若仅围绕“女性”展开话题,无论对女性群体还是黄玲艳本人都显得缺乏尊重。 黄玲艳用阳光的笑声和“没所谓”的爽快熨平了一切。她认可女性技术人员的稀缺及由此衍生出的偏见(包括偏袒),同时也自…

    2022年3月20日
    12700

发表回复

登录后才能评论
联系我们
关注微信
关注微信
分享本页
返回顶部