空间音效应用在各个场景下效果怎么样

网易智企 TOP1 247

空间音效应用在各个场景下能够实现听音辨位、声场还原的效果,从而让用户产生身临其境的感觉。空间音效的常用场景主要包括:1.游戏场景;2.音乐演出;3.在线会议;4.医疗保健。

1.游戏场景

游戏行业是空间音效在FPS 游戏(第一人称射击游戏)的应用。通过使玩家依赖对声音线索来源的正确判断,空间音效可以提高玩家在FPS 游戏中的环境意识。熟练的玩家在游戏过程中仅凭轻微的声响或技能音效,就能精确定位危险所在,和队友连麦时,可以通过求助语音准确辨别队友位置展开救援。

但是不仅限于第一人称射击类游戏,作为增强沉浸式体验的关键因素之一,空间音频可以为绝大部分游戏在一定程度上提升游戏体验。

例如,通过空间音效,让手机游戏等小屏幕游戏营造出大游戏的体验感;以声音(空间音效)为中心的游戏可以帮助视觉受损的人享受游戏;恐怖游戏可以利用黑暗和缺少能见度,使玩家依赖3D 声音线索,从而创造更有沉浸感的体验。此外,传统的声音为二维平面,这与VR 提供的视野是脱节的。头戴设备(例如Oculus Rift)与空间音效相结合,可以让玩家通过头部转动来确定声音的来源方向,从而进一步提升VR 体验。

2.音乐演出

如果你是听众,空间音效可以让你选择同一场馆内不同位置的音效,如果你愿意,你甚至可以体会站在歌手身旁听音乐的感觉,可以拥有坐在舞台中央欣赏交响乐的体验。而这一定程度上解决了现在线上演出缺乏沉浸感的问题。

如果你是创作者,空间音效更是为你带来无限可能,声音在自由度上的增强不仅有助于作曲家们在创作时的情感表达,还能够让配乐为动作和对话腾出更多的空间。未来会有更多的音乐创作基于“空间音效”来创作,从录制阶段就有针对性的录音,音乐市场有可能进入一个沉浸式创作的时代。

3.在线会议

在线会议中,空间音效打破了音频采集、编解码、以及播放能力的约束,还原了远场原有的听感,使参会人员能够在多人语聊的场景下,既能听清远端人在说什么,又能感知到发言人的位置,从而使空间感放大。这样即便会议时间比较久,参会者也不容易产生疲劳感。

4.医疗保健

空间音效还可以用于医疗保健,例如,用于运动康复系统、电子旅行辅助设备和其他辅助设备视障人士的技术,以视障人士为例,空间音效可以作为他们方向感的主要线索,为他们的日常生活提供了较大的便利。

延伸阅读

空间音效的技术原理是什么?

空间音频(Spatial Sound),也叫3D音效、空间音效,就是一种通过操控立体声扬声器、环绕声扬声器、扬声器阵列或者耳机等发音设备所产生的声音,来实现让听众感受到声音似乎是从三维空间中虚拟的位置发出的一种技术。

通过模拟基于人耳的构造、声音在空气中的传播特性、遇到障碍物时的反射特性等物理规律,可以模拟音源位于听者水平面的前后左右,甚至是垂直上下方位,达到以假乱真的效果。

1.双耳效应

从声学角度讲,空间音频的原理并不复杂。人们在现实生活中因为“双耳效应”,就是依靠双耳间的音量差、时间差和音色差,能感受到声音从不同方位发出。当声音强弱不同,能感受到声源与听者之间的距离,从而判断感知声源所在位置。

(1)双耳时差:首先是双耳时差(Interaural time differences, ITD)。声源与左耳或右耳的距离越远,双耳时间差越大。听者可以通过声音到达左右耳的时间差,来判断低频声源与人的相对水平位置。

(2)双耳水平差:仅仅通过双耳时差(ITD)还无法判断高频声源的位置,由于一些高频的声音会被物体遮挡而无法继续传递、扩散,比如人的头部,这就是双耳水平差(Interaural level differences, ILD)。由于头部带来的声学屏障(Acoustic shadow),让左右耳听到的声音大小与频率产生差别,由此大脑会判断出声源方位。

(3)频谱效应:还有频谱效应(Spectral effects)。声音在到达后会因外耳结构而形成反射,从不同方向来的声音,反射效果也不同,大脑可以根据它来判断声源在垂直方向上的相对方位。通过对耳朵结构的反射效应进行建模,构建HRTF,可以更加逼真地模拟声音的方向。

有了双耳时差和双耳水平差判断声源水平位置,然后利用耳廓的反射可以判断声源垂直的位置,大脑就可以判断声音在三维空间中的位置了。

2.环境建模

除了双耳效应,环境建模同样重要。声音在传播过程中会随着距离衰减、失真;遇到障碍物经历多次反射、改变声音特性。因此,人可以通过结合生活经验,更准确地判断声音的位置。建模要考虑的因素包括:

(1)衰减:受气压、温度等物理性质的影响,声音在不同空气中传播的衰减速度和频响特性都会有一定区别。传播越远,声音衰减越大,失真越多。

(2)反射与阻挡:声音会与环境中的障碍物多次反射,最后到达耳朵的声音除了直接传播的声音,还有从不同角度反射而来的混响声。例如音乐厅中,为了让声音更好听,需要特别设计墙面的反射特性,达到最佳混响效果。为了提高室内环境的真实感、层次感,对此建模也是必不可少的。

(3)方向性:声音源发出的声音在不同角度的效果不同,例如在舞台正面和侧面听乐器演奏,音量和音色都不一样,如果一个图象是单向音响设备,各个角度的音量一模一样,就显得有点出戏了。

当用户操作虚拟任务在虚拟场景中移动时,需要以上这么多的细节问题都进行实时的、精细的模拟,才能完美模拟出最真实的听觉感受,对建模和计算优化的能力都是不小的挑战。

回复

我来回复
  • 暂无回复内容

联系我们
关注微信
关注微信
分享本页
返回顶部