Windows下Core Audio APIs的使用简介

如今,越来越多的产品开始使用音视频功能,其中部分有开发能力和需求的用户,希望能自主实现部分端侧的数据采集和设备管理功能。本篇文章将分享Windows 下音频设备相关能力实现,重点讲述 Core Audio Apls 在实时音视频中需要用到的相关功能,针对各个功能点简单展示实现方式,并给出一些注意事项。

作者:网易智慧企业资深PC端开发工程师

Windows Vista 之后的系统中,音频系统相比之前的系统有很大的变化,产生了一套新的底层 API 即 Core Audio APIs 。

该低层 API 为高层 API【如 Media Foundation(将要取代DirectShow 等高层 API)等 】 提供服务。该系统API具有低延迟、高可靠性、安全性等特点。

本文主要从实时音视频场景中,简单介绍该API的使用。

Core Audio APIs 的组成:MMDevice、EndpointVolume、WASAPI 等。对于实时音视频系统,主要用到的是 MMDevice 及 EndpointVolume 这两套 API。其在系统中的位置如下图:

Windows下Core Audio APIs的使用简介

我对实时音视频中音频设备的使用简单的分为:

1. 设备列表管理

2. 设备初始化

3. 设备功能管理

4. 数据交互

5. 音量管理

6. 设备终端监听

接下来为大家介绍相关功能的实现。

一、相关功能的实现

1、设备列表管理

音频设备的管理,由 MMDevice API来实现。首先我们要创建一 IMMDeviceEnumerator 对象来开始相关功能的调用。

Windows下Core Audio APIs的使用简介 并通过 IMMDeviceEnumerator 可以实现:获取系统默认设备 GetDefaultAudioEndpoint、获取设备集合IMMDeviceCollection、获取指定设备GetDevice、注册设备监听 IMMNotificationClient(监听设备插拔及状态变更)。

通过这些方法,我们能得到系统默认设备、遍历设备列表、打开指定设备并监听设备变更。这样就实现了实时音视频中的设备管理相关的功能。

音频设备的启动是整个音频模块的可靠性的重要节点。根据设备类型和设备数据捕获方式,我们可分为 3 类设备:麦克风采集、扬声器播放、扬声器采集。

首先我们需要一个 IMMDevice 对象,可以在设备管理的相关功能中获取。

Windows下Core Audio APIs的使用简介 再通过 IMMDevice 得到 IAudioClient,设备的格式设置及初始化通过 IAudioClient 对象实现。一般都以共享模式打开,其中麦克风采集及扬声器播使用事件驱动方式处理数据,而扬声器采集以回环的方式驱动处理数据。

简单示例如下:

Windows下Core Audio APIs的使用简介

其中 Wfx是设备格式参数,一般为了保证设备的可用性,使用默认格式(通过IAudioClient::GetMixFormat 获取),如果需要使用自定义格式,可以通过IAudioClient::IsFormatSupported 方法去遍历尝试设备支持格式。

3、设备功能管理

针对麦克风设备,我们通常需要对其进行数据处理。部分硬件设备和系统支持自带的降噪、增益、消回音等功能。但是一般 windows 系统下设备比较繁杂不可控,大都使用软件算法处理。

如果我们需要检测设备是否使用了自带的处理功能及相关参数,需要使用 Topology 模块的功能。

Windows下Core Audio APIs的使用简介

通过 IDeviceTopology,我们能够遍历 IConnector 对象,获得 IAudioAutoGainControl、IAudioVolumeLevel 等能力对象,并处理相关能力。

注意:Iconnector 可能是循环嵌套,在遍历 IConnector 的 IPart时需要判别成员对象IPart 的类型。

4、数据交互

在设备初始化的时候,我们就根据不同的设备选择了不同的模式进行了启动。不同的设备在各自的模式下,数据驱动也各有不同:

麦克风采集:

Windows下Core Audio APIs的使用简介

扬声器播放:

Windows下Core Audio APIs的使用简介

扬声器采集:

Windows下Core Audio APIs的使用简介

在和设备进行数据交互时,我们需要根据数据获取模式,获取对应的服务对象来获取设备数据。其中采集部分使用 IAudioCaptureClient 服务用于获取设备数据,播放使用IAudioRenderClient 服务获取设备数据传入指针。

示例如下:

C:Userswutong10Downloadscarbon (1).png

在实际的数据交互中,需要另开单独线程处理 GetBuffer 及 ReleaseBuffer。其中麦克风采集及扬声器播放时,都是通过设备事件驱动,可以在设备初始化完成后设置响应的事件句柄(IAudioClient::SetEventHandle)。

在整个音视频系统中,设备数据线程还需要统计数据处理时长、采集播放缓存大小等,用户监听检查设备状态及 aec 延迟计算。

5、音量管理

一般音量管理只在设备选定后处理当前设备的音量,所以一般使用IAudioEndpointVolume,该对象通过设备对象 IMMDevice 获取:

Windows下Core Audio APIs的使用简介

得到 IAudioEndpointVolume 对象后,我们能处理当前设备的音量控制:

Windows下Core Audio APIs的使用简介

静音控制:

Windows下Core Audio APIs的使用简介

以及注册 IAudioEndpointVolumeCallback 监听音量状态:

Windows下Core Audio APIs的使用简介

6、设备终端监听

在运行过程中除了设备的插拔等操作,还可能有一些属性变更等,一般用IAudioSessionEvents 监听:

Windows下Core Audio APIs的使用简介

该回调监听,能监听该设备的连接工作状态,名称变更等。

二、一些注意事项

1、线程优先级

在实际的工程开发过程中,我们需要对音频线程的工作线程进行处理。通常通过调用系统模块Avrt.dll,动态调用其下的函数,将调用线程与指定任务(Pro Audio)相关联。上代码:

函数绑定:

Windows下Core Audio APIs的使用简介

在实际的数据处理线程关联:

Windows下Core Audio APIs的使用简介

通过任务绑定,能有效的提升音频数据处理线程的可靠性。

2、工作线程

设备的相关初始化和释放操作,需要在统一的线程处理,部分系统com对象在释放时需要在创建线程释放,不然可能导致释放崩溃。而一些音量选择、监听等的处理可以在用户线程处理,但需要做好多线程安全。

3、设备格式选择

在设备的采样率、声道等格式选择时,如果需要使用自定义的格式,可能出现格式匹配失败或者选择匹配的格式后设备初始化失败的场景。通常此类场景下直接使用默认格式启动。

4、数据处理异常

在数据处理线程处理音频数据时,通常会出现事件响应超时、设备对象异常等情况。通常的处理方法是,先退出数据线程并结束设备,然后检查当前设备是否正常功能,然后重新启动当前设备或选用默认设备。

作者介绍

网易智慧企业资深PC端开发工程师

关于网易云信

网易云信:网易智企旗下融合通信云服务专家、通信与视频 PaaS 平台。集网易 24 年 IM 以及音视频技术打造的融合通信云服务专家,稳定易用的通信与视频 PaaS 平台。提供融合通信与视频的核心能力与组件,包含 IM 即时通讯、5G 消息平台、一键登录、信令、短信与号码隐私保护等通信服务,音视频通话、直播、点播、互动直播与互动白板等音视频服务,视频会议等组件服务,并联合网易易盾推出一站式安全通信方案「安全通」。目前,网易云信已经成功发送 1.6 万亿条消息,覆盖智能终端 SDK 数累计超过 186 亿,我们期待每个智能终端都有云信的融合通信能力。

文章标题:Windows下Core Audio APIs的使用简介,发布者:网易智企,转载请注明出处:https://worktile.com/kb/p/6025

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年3月17日 上午12:49
下一篇 2022年3月17日 上午1:04

相关推荐

  • 美国服务器硬盘数据恢复的工具有哪些

    美国服务器硬盘数据恢复的工具有:1、Test Disk;2、Ease US Partition Master Free;3、Win Dir Stat;4、Clone Zilla;5、OSF Mount;6、Defraggler;7、SSD Life free;8、Recuva;9、HD Tune。服…

    2022年11月7日
    23500
  • 如何制作甘特图

    以Word为例,演示制作甘特图的流程:1、打开一个新的Word文档并更改布局;2、在文档中插入堆积条形图;3、将项目进度数据包含在图表中;4、将图形格式化为甘特图;5、自定义甘特图。打开一个新的Word文档并更改布局是制作好甘特图的关键。

    2023年2月6日
    25100
  • Linux软件安装中RPM与YUM区别和联系

    区别有:一、安装程序不同;二、两者优点不同;三、两者硬件描述不同。RPM文件在Linux系统中的安装最为简便。RPM管理着系统已安装的所有RPM程序组件的资料,因此可以使用RPM来卸载相关的应用程序。可供Yum下载的软件包包括Fedora本身的软件包以及源自rpmfusion和rpm.的Fedora…

    2023年5月23日
    1100
  • JNI、类加载器的原理是什么

    JNI的工作原理是:Java应用程序调用JNI的本地方法;JNI将本地方法名称和参数转换成C/C++函数的调用;C/C++代码执行本地方法并返回结果;JNI将结果转换为Java对象或基本类型,返回给Java应用程序。 JNI JNI是Java平台上的一种编程框架,用于在Java虚拟机(JVM)中调用…

    2023年5月28日
    000
  • 什么是燃尽图

    燃尽图是用来展示随着时间减少,工作量剩余情况的图表,可以非常直观的把握项目的进度。燃尽图有4个重要组成元素,一般来说,纵轴表示剩余工作量,横轴表示时间,计划曲线代表理想情况下的任务进展曲线,实际曲线代表任务的实际进展曲线。

    2022年11月30日
    29400
  • RSocket和传统的Http有什么区别呢

    RSocket和传统的Http的区别是:两者都是解决分布式系统下,点对点通信问题,都是应用层通信协议。HTTP是文本协议,RSocket是二进制协议。从编程模型上看,在HTTP是一种Request/Reponse方式。客户端决定请求时机和次数,服务端有变化不能通知客户端,需要客户端不停的轮询。

    2023年2月13日
    3300
  • 什么是帕累托法则

    帕累托法则,又叫二八法则、80/20原理、帕累托效应。它是指,在任何特定 群体中,重要的因子通常只占少数,而不重要的因子则占多数,因此只要能控制具 有重要性的少数因子即能控制全局。即80%的价值是来自20%的因子,其余的20%的价值则来自80%的因子。

    2023年1月17日
    24900
  • C++ #include ” ” 与 <>有什么区别

    区别是若 #include “” 查找成功,则遮蔽 #include <> 所能找到的同名文件;否则再按照 #include <> 的方式查找文件。另外标准库头文件都放在 #include <> 所查找的位置。一般来说 #include &…

    2023年2月16日
    6800
  • 华旦天使张洁:风口是创业者的造物,投资本质是件农活

     文| babayage 编辑 |笑 笑 在投资界活跃着一批乘风破浪的姐姐们,江湖人敬称一声“花姐”的华旦天使投资创始人张洁是个中代表:言谈飒爽,举止利落,洞察力十足。 技术背景创业者宜:创新、洞察 忌:轴、轻视销售 技术背景创业者 花姐:以大学修习技术专业作为标准的话,我们投资的技术背景创业者占比…

    2022年3月20日
    27200
  • 堆和栈的区别是什么

    堆和栈的区别有以下几方面:1、申请方式的不同;2、申请大小的不同;3、申请效率的不同;4、存储内容的不同;5、底层不同。申请方式的不同是指栈由系统自动分配,而堆是人为申请开辟。

    2023年2月17日
    2100

发表回复

登录后才能评论
联系我们
站长微信
站长微信
分享本页
返回顶部