Windows下Core Audio APIs的使用简介

如今，越来越多的产品开始使用音视频功能，其中部分有开发能力和需求的用户，希望能自主实现部分端侧的数据采集和设备管理功能。本篇文章将分享Windows 下音频设备相关能力实现，重点讲述 Core Audio Apls 在实时音视频中需要用到的相关功能，针对各个功能点简单展示实现方式，并给出一些注意事项。

作者：网易智慧企业资深PC端开发工程师

Windows Vista 之后的系统中，音频系统相比之前的系统有很大的变化，产生了一套新的底层 API 即 Core Audio APIs 。

该低层 API 为高层 API【如 Media Foundation（将要取代DirectShow 等高层 API）等 】 提供服务。该系统API具有低延迟、高可靠性、安全性等特点。

本文主要从实时音视频场景中，简单介绍该API的使用。

Core Audio APIs 的组成：MMDevice、EndpointVolume、WASAPI 等。对于实时音视频系统，主要用到的是 MMDevice 及 EndpointVolume 这两套 API。其在系统中的位置如下图：

我对实时音视频中音频设备的使用简单的分为：

1. 设备列表管理

2. 设备初始化

3. 设备功能管理

4. 数据交互

5. 音量管理

6. 设备终端监听

接下来为大家介绍相关功能的实现。

一、相关功能的实现

1、设备列表管理

音频设备的管理，由 MMDevice API来实现。首先我们要创建一 IMMDeviceEnumerator 对象来开始相关功能的调用。

并通过 IMMDeviceEnumerator 可以实现：获取系统默认设备 GetDefaultAudioEndpoint、获取设备集合IMMDeviceCollection、获取指定设备GetDevice、注册设备监听 IMMNotificationClient（监听设备插拔及状态变更）。

通过这些方法，我们能得到系统默认设备、遍历设备列表、打开指定设备并监听设备变更。这样就实现了实时音视频中的设备管理相关的功能。

音频设备的启动是整个音频模块的可靠性的重要节点。根据设备类型和设备数据捕获方式，我们可分为 3 类设备：麦克风采集、扬声器播放、扬声器采集。

首先我们需要一个 IMMDevice 对象，可以在设备管理的相关功能中获取。

再通过 IMMDevice 得到 IAudioClient，设备的格式设置及初始化通过 IAudioClient 对象实现。一般都以共享模式打开，其中麦克风采集及扬声器播使用事件驱动方式处理数据，而扬声器采集以回环的方式驱动处理数据。

简单示例如下：

其中 Wfx是设备格式参数，一般为了保证设备的可用性，使用默认格式（通过IAudioClient::GetMixFormat 获取），如果需要使用自定义格式，可以通过IAudioClient::IsFormatSupported 方法去遍历尝试设备支持格式。

3、设备功能管理

针对麦克风设备，我们通常需要对其进行数据处理。部分硬件设备和系统支持自带的降噪、增益、消回音等功能。但是一般 windows 系统下设备比较繁杂不可控，大都使用软件算法处理。

如果我们需要检测设备是否使用了自带的处理功能及相关参数，需要使用 Topology 模块的功能。

通过 IDeviceTopology，我们能够遍历 IConnector 对象，获得 IAudioAutoGainControl、IAudioVolumeLevel 等能力对象，并处理相关能力。

注意：Iconnector 可能是循环嵌套，在遍历 IConnector 的 IPart时需要判别成员对象IPart 的类型。

4、数据交互

在设备初始化的时候，我们就根据不同的设备选择了不同的模式进行了启动。不同的设备在各自的模式下，数据驱动也各有不同：

麦克风采集：

扬声器播放：

扬声器采集：

图

在和设备进行数据交互时，我们需要根据数据获取模式，获取对应的服务对象来获取设备数据。其中采集部分使用 IAudioCaptureClient 服务用于获取设备数据，播放使用IAudioRenderClient 服务获取设备数据传入指针。

示例如下：

在实际的数据交互中，需要另开单独线程处理 GetBuffer 及 ReleaseBuffer。其中麦克风采集及扬声器播放时，都是通过设备事件驱动，可以在设备初始化完成后设置响应的事件句柄（IAudioClient::SetEventHandle）。

在整个音视频系统中，设备数据线程还需要统计数据处理时长、采集播放缓存大小等，用户监听检查设备状态及 aec 延迟计算。

5、音量管理

一般音量管理只在设备选定后处理当前设备的音量，所以一般使用IAudioEndpointVolume，该对象通过设备对象 IMMDevice 获取：

得到 IAudioEndpointVolume 对象后，我们能处理当前设备的音量控制：

静音控制：

以及注册 IAudioEndpointVolumeCallback 监听音量状态：

6、设备终端监听

在运行过程中除了设备的插拔等操作，还可能有一些属性变更等，一般用IAudioSessionEvents 监听：

该回调监听，能监听该设备的连接工作状态，名称变更等。

二、一些注意事项

1、线程优先级

在实际的工程开发过程中，我们需要对音频线程的工作线程进行处理。通常通过调用系统模块Avrt.dll，动态调用其下的函数，将调用线程与指定任务（Pro Audio）相关联。上代码：

函数绑定：

在实际的数据处理线程关联：

通过任务绑定，能有效的提升音频数据处理线程的可靠性。

2、工作线程

设备的相关初始化和释放操作，需要在统一的线程处理，部分系统com对象在释放时需要在创建线程释放，不然可能导致释放崩溃。而一些音量选择、监听等的处理可以在用户线程处理，但需要做好多线程安全。

3、设备格式选择

在设备的采样率、声道等格式选择时，如果需要使用自定义的格式，可能出现格式匹配失败或者选择匹配的格式后设备初始化失败的场景。通常此类场景下直接使用默认格式启动。

4、数据处理异常

在数据处理线程处理音频数据时，通常会出现事件响应超时、设备对象异常等情况。通常的处理方法是，先退出数据线程并结束设备，然后检查当前设备是否正常功能，然后重新启动当前设备或选用默认设备。

作者介绍

网易智慧企业资深PC端开发工程师

关于网易云信

网易云信：网易智企旗下融合通信云服务专家、通信与视频 PaaS 平台。集网易 24 年 IM 以及音视频技术打造的融合通信云服务专家，稳定易用的通信与视频 PaaS 平台。提供融合通信与视频的核心能力与组件，包含 IM 即时通讯、5G 消息平台、一键登录、信令、短信与号码隐私保护等通信服务，音视频通话、直播、点播、互动直播与互动白板等音视频服务，视频会议等组件服务，并联合网易易盾推出一站式安全通信方案「安全通」。目前，网易云信已经成功发送 1.6 万亿条消息，覆盖智能终端 SDK 数累计超过 186 亿，我们期待每个智能终端都有云信的融合通信能力。