Facebook强化AR音场技术,想让你戴着增强现实眼镜调整环境音

Facebook在并购增强现实(AR)设备公司Oculus之后,积极投入增强现实眼镜研发及相关应用,近日更投入如何重现拟真音场感受,让用户能通过听觉感受虚拟角色的存在。

Facebook首席科学家麦克·阿布拉许(Michael Abrash)和他的FRL Research研究小组(以前称为Facebook Reality Labs)分享其声音研究,以创建在视觉上无法与现实区分开的虚拟声音,并重新定义人类的听力。

该团队专注于两种新功能:第一是“音频呈现”,一种虚拟声音源,让收听者感觉到与该发声体存在于同一个空间中的感觉,其高保真度使其与真实世界无法区分。其次,是“感知超能力”,简单来说是在嘈杂的环境中可以更好地听到声音,做法是通过调高坐在对面与我们对谈的人的音量,同时调低不需要的背景噪音的音量。

拟真音场技术是由Facebook Reality Labs实验室打造,希望通过听觉提供用户沉浸式的虚拟环境交互感受,预计会实际应用在Oculus虚拟现实头戴设备,或是其他Facebook增强现实产品。其实类似的设计目前Bose、Sony、Dolby等企业也有类似研发,例如Sony提出的360 Reality Audio、Dolby提出的全景声技术,均可让用户仿佛身临其境之中,可聆听更贴近真实环境所产生声音。

虚拟现实或增强现实的拟真音场重现,并非只是通过耳机左右声道播放声音这样简单,以目前拟真音场的技术来看,若用户是在定点位置则可轻易感受拟真音场,但要应用于必须改变交互位置的虚拟现实或是增强现实体验中,其拟真音场的品质则还有很大的进步空间,因为在相对距离、位置改变,或是在用户面向不同方位等情况下,实际产生听觉感受都会有差异。

Facebook Reality Labs实验室的做法主要是通过隔离外界声音的密闭室,及一组搭载数组免提器的机器手臂,通过在环绕位于中央的人,并且播放声音过程中,持续记录人的耳朵在此过程反应变化。同时,Facebook也通过特殊头戴设备用于记录用户在不同方位的听觉感受,借此设计在虚拟空间中的声音表现方式,例如在虚拟空间面向声音产生来源、以及被对声音产生来源时的听觉感受会有明显差异,让用户能在虚拟空间内实现听声辨位,搭配上虚拟视觉后在与其他虚拟角色的交互将更真实。

除了应用在虚拟视觉,此项技术未来也能应用在其他服务内容,例如通过增强现实进行的地图导航指示,让用户能通过分辨声音方向判断应该向左、向右,或是向后回转。目前Facebook已经在虚拟空间的拟真音场表现有一定技术掌握,预期将会在9月16日举办的Facebook Connect活动公布更多关于此技术细节。