Windows下Core Audio APIs的使用简介

如今,越来越多的产品开始使用音视频功能,其中部分有开发能力和需求的用户,希望能自主实现部分端侧的数据采集和设备管理功能。本篇文章将分享Windows 下音频设备相关能力实现,重点讲述 Core Audio Apls 在实时音视频中需要用到的相关功能,针对各个功能点简单展示实现方式,并给出一些注意事项。

作者:网易智慧企业资深PC端开发工程师

Windows Vista 之后的系统中,音频系统相比之前的系统有很大的变化,产生了一套新的底层 API 即 Core Audio APIs 。

该低层 API 为高层 API【如 Media Foundation(将要取代DirectShow 等高层 API)等 】 提供服务。该系统API具有低延迟、高可靠性、安全性等特点。

本文主要从实时音视频场景中,简单介绍该API的使用。

Core Audio APIs 的组成:MMDevice、EndpointVolume、WASAPI 等。对于实时音视频系统,主要用到的是 MMDevice 及 EndpointVolume 这两套 API。其在系统中的位置如下图:

Windows下Core Audio APIs的使用简介

我对实时音视频中音频设备的使用简单的分为:

1. 设备列表管理

2. 设备初始化

3. 设备功能管理

4. 数据交互

5. 音量管理

6. 设备终端监听

接下来为大家介绍相关功能的实现。

一、相关功能的实现

1、设备列表管理

音频设备的管理,由 MMDevice API来实现。首先我们要创建一 IMMDeviceEnumerator 对象来开始相关功能的调用。

Windows下Core Audio APIs的使用简介 并通过 IMMDeviceEnumerator 可以实现:获取系统默认设备 GetDefaultAudioEndpoint、获取设备集合IMMDeviceCollection、获取指定设备GetDevice、注册设备监听 IMMNotificationClient(监听设备插拔及状态变更)。

通过这些方法,我们能得到系统默认设备、遍历设备列表、打开指定设备并监听设备变更。这样就实现了实时音视频中的设备管理相关的功能。

音频设备的启动是整个音频模块的可靠性的重要节点。根据设备类型和设备数据捕获方式,我们可分为 3 类设备:麦克风采集、扬声器播放、扬声器采集。

首先我们需要一个 IMMDevice 对象,可以在设备管理的相关功能中获取。

Windows下Core Audio APIs的使用简介 再通过 IMMDevice 得到 IAudioClient,设备的格式设置及初始化通过 IAudioClient 对象实现。一般都以共享模式打开,其中麦克风采集及扬声器播使用事件驱动方式处理数据,而扬声器采集以回环的方式驱动处理数据。

简单示例如下:

Windows下Core Audio APIs的使用简介

其中 Wfx是设备格式参数,一般为了保证设备的可用性,使用默认格式(通过IAudioClient::GetMixFormat 获取),如果需要使用自定义格式,可以通过IAudioClient::IsFormatSupported 方法去遍历尝试设备支持格式。

3、设备功能管理

针对麦克风设备,我们通常需要对其进行数据处理。部分硬件设备和系统支持自带的降噪、增益、消回音等功能。但是一般 windows 系统下设备比较繁杂不可控,大都使用软件算法处理。

如果我们需要检测设备是否使用了自带的处理功能及相关参数,需要使用 Topology 模块的功能。

Windows下Core Audio APIs的使用简介

通过 IDeviceTopology,我们能够遍历 IConnector 对象,获得 IAudioAutoGainControl、IAudioVolumeLevel 等能力对象,并处理相关能力。

注意:Iconnector 可能是循环嵌套,在遍历 IConnector 的 IPart时需要判别成员对象IPart 的类型。

4、数据交互

在设备初始化的时候,我们就根据不同的设备选择了不同的模式进行了启动。不同的设备在各自的模式下,数据驱动也各有不同:

麦克风采集:

Windows下Core Audio APIs的使用简介

扬声器播放:

Windows下Core Audio APIs的使用简介

扬声器采集:

Windows下Core Audio APIs的使用简介

在和设备进行数据交互时,我们需要根据数据获取模式,获取对应的服务对象来获取设备数据。其中采集部分使用 IAudioCaptureClient 服务用于获取设备数据,播放使用IAudioRenderClient 服务获取设备数据传入指针。

示例如下:

C:Userswutong10Downloadscarbon (1).png

在实际的数据交互中,需要另开单独线程处理 GetBuffer 及 ReleaseBuffer。其中麦克风采集及扬声器播放时,都是通过设备事件驱动,可以在设备初始化完成后设置响应的事件句柄(IAudioClient::SetEventHandle)。

在整个音视频系统中,设备数据线程还需要统计数据处理时长、采集播放缓存大小等,用户监听检查设备状态及 aec 延迟计算。

5、音量管理

一般音量管理只在设备选定后处理当前设备的音量,所以一般使用IAudioEndpointVolume,该对象通过设备对象 IMMDevice 获取:

Windows下Core Audio APIs的使用简介

得到 IAudioEndpointVolume 对象后,我们能处理当前设备的音量控制:

Windows下Core Audio APIs的使用简介

静音控制:

Windows下Core Audio APIs的使用简介

以及注册 IAudioEndpointVolumeCallback 监听音量状态:

Windows下Core Audio APIs的使用简介

6、设备终端监听

在运行过程中除了设备的插拔等操作,还可能有一些属性变更等,一般用IAudioSessionEvents 监听:

Windows下Core Audio APIs的使用简介

该回调监听,能监听该设备的连接工作状态,名称变更等。

二、一些注意事项

1、线程优先级

在实际的工程开发过程中,我们需要对音频线程的工作线程进行处理。通常通过调用系统模块Avrt.dll,动态调用其下的函数,将调用线程与指定任务(Pro Audio)相关联。上代码:

函数绑定:

Windows下Core Audio APIs的使用简介

在实际的数据处理线程关联:

Windows下Core Audio APIs的使用简介

通过任务绑定,能有效的提升音频数据处理线程的可靠性。

2、工作线程

设备的相关初始化和释放操作,需要在统一的线程处理,部分系统com对象在释放时需要在创建线程释放,不然可能导致释放崩溃。而一些音量选择、监听等的处理可以在用户线程处理,但需要做好多线程安全。

3、设备格式选择

在设备的采样率、声道等格式选择时,如果需要使用自定义的格式,可能出现格式匹配失败或者选择匹配的格式后设备初始化失败的场景。通常此类场景下直接使用默认格式启动。

4、数据处理异常

在数据处理线程处理音频数据时,通常会出现事件响应超时、设备对象异常等情况。通常的处理方法是,先退出数据线程并结束设备,然后检查当前设备是否正常功能,然后重新启动当前设备或选用默认设备。

作者介绍

网易智慧企业资深PC端开发工程师

关于网易云信

网易云信:网易智企旗下融合通信云服务专家、通信与视频 PaaS 平台。集网易 24 年 IM 以及音视频技术打造的融合通信云服务专家,稳定易用的通信与视频 PaaS 平台。提供融合通信与视频的核心能力与组件,包含 IM 即时通讯、5G 消息平台、一键登录、信令、短信与号码隐私保护等通信服务,音视频通话、直播、点播、互动直播与互动白板等音视频服务,视频会议等组件服务,并联合网易易盾推出一站式安全通信方案「安全通」。目前,网易云信已经成功发送 1.6 万亿条消息,覆盖智能终端 SDK 数累计超过 186 亿,我们期待每个智能终端都有云信的融合通信能力。

文章标题:Windows下Core Audio APIs的使用简介,发布者:网易智企,转载请注明出处:https://worktile.com/kb/p/6025

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年3月17日 上午12:49
下一篇 2022年3月17日 上午1:04

相关推荐

  • LAMP 堆栈的用途是什么

    LAMP 堆栈的主要用途是用于后端或服务器端开发。LAMP 堆栈是开发人员用来构建网站和 Web 应用程序的四种不同软件技术的捆绑包。LAMP 是操作系统 Linux、Web 服务器 Apache、数据库服务器 MySQL 和编程语言 PHP 的首字母缩写。 一、LAMP 堆栈的用途是什么 LAMP…

    2022年11月10日
    3000
  • 信息安全领域最薄弱的环节是什么

    信息安全领域最薄弱的环节是人。
    世界头号黑客Kevin Mitnick 曾说过一句话被广泛认可:“人是最薄弱的环节。”
    因此,“人”通常被认为是信息安全中的“薄弱的环节”,即人为威胁。人为威胁可以分为无意识和有意识两种。

    2022年10月12日
    9400
  • 神策数据桑文锋:认知为王,To B要考虑客户KPI

    文| babayage 编辑 |笑 笑 2020年10月13日,北京香格里拉酒店,神策数据创始人&CEO桑文锋刚刚发表完《重构数据根基,实现数字化经营》的演讲,兴致正盛。 在演讲中桑文锋回顾了五年创业历程,也坦言疫情给了他一次长考的机会。他总结道:“在中国市场做企业级服务,要考虑客户的KPI…

    2022年3月20日
    24200
  • 目标管理的基本思想有哪些

    目标管理的基本思想可以概括为:1、以工作任务为中心;2、以结果考核为导向;3、重视绩效考核。目标管理是一种以工作和人为中心的综合管理方法,它首先由组织的上级管理人员与下级管理人员、员工一起制定组织目标。 1、以工作任务为中心 企业在目标管理中,对目标的设定是十分重要的,只有目标设定正确、合理的管理者…

    2022年12月27日
    3700
  • jira是什么工具

    jira是Atlassian公司出品的项目与事务跟踪工具。jira被广泛应用于缺陷跟踪、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域,主要优点是配置灵活、功能全面、部署简单、扩展丰富。 jira是Atlassian公司出品的项目与事务跟踪工具。jira被广泛应用于缺陷跟踪、客…

    2022年11月16日
    4200
  • 特赞CTO王喆:数据思维有利人生决策,创业过程是价值和规模化的动态平衡

     文| babayage 编辑 | 笑 笑 Tezign = Tech(科技)+ Design(想象力) 2021年3月18日,特赞宣布完成获得由淡马锡领投的C2轮融资,此前,特赞完成由红杉资本中国基金领投的C1轮融资,C轮融资金额共计1亿美元。 6年之前,王喆结缘特赞创始人CEO范凌、加入特赞,开…

    2022年3月20日
    15500
  • 什么是项目沟通

    项目沟通是确保项目团队的相关信息能及时、正确地产生、收集、发布、储存和处理好项目信息所需的过程。做好项目沟通要做到:1、制定项目沟通管理计划;2、灵活运用各种沟通形式;3、建立有效透明的沟通机制。制定项目沟通管理计划保证了持续适用性。 项目沟通是确保项目团队的相关信息能及时、正确地产生、收集、发布、…

    2023年1月17日
    500
  • think服务器都有哪些

    think服务器都有:1、ThinkServer RD830;2、ThinkServer RD630;3、ThinkServer RD430;4、ThinkServer RD330;5、ThinkServer TS530;6、ThinkServer TS230。ThinkServer RD830专为…

    2023年1月15日
    700
  • 流程管理的好处与难点是什么

    流程管理的好处是:1.留住人才;2.加速企业成长;3.解放全体员工;4.提升工作效率;5.实现规范化管理;6.提高组织协同力。流程管理的难点是:1.企业领导不重视;2.产业环境变化快;3.内外部资源流动快;4.业务人员参与不足;5.标准化基础管理薄弱。 流程管理的好处 1.留住人才 优化流程,可以将…

    2022年11月13日
    11700
  • 需求优先级划分模型有哪些

    需求优先级划分模型有:1、卡诺模型;2、四象限法则;3、ICE模型;4、RICE模型;5、MoSCoW方法。卡诺模型将需求分为必备型、期望型、兴奋型、无差别、反向五种。 1、卡诺模型 该方法由Noriaki Kano教授在1980年提出,卡诺模型将需求分为5类: 因此,根据Kano模型对需求的优先级…

    2023年1月8日
    1000

发表回复

登录后才能评论
联系我们
关注微信
关注微信
分享本页
返回顶部
PingCode 比 Jira 更好用的研发管理工具。免费试用