用于扩展现实的高精度3维音频的系统和方法

摘要

本发明涉及用于扩展现实的高精度3维音频的系统和方法。提供了用于提供3D音频的技术，该3D音频可以用于扩展的现实。3D音频信号可以基于从听者所在的实际房间中所采集的传感器数据以及听者在该房间中的实际姿态来生成。该3D音频信号可以包括基于所采集的传感器数据和听者的位置所确定的多个分量。例如，可以确定虚拟声音源与听者之间的多个(虚拟)声音路径。该传感器数据可以用于估计房间中的材料，使得可以确定这些材料在声音在沿着这些路径传播时可能对声音造成的影响。在一些实施例中，传感器数据可以用于收集听者的物理特性，使得可以从HRTF库中确定合适的HRTF。

主权项

一种用于提供3D音频信号的方法，包括：收集关于房间以及听者在所述房间中的姿态的传感器数据，所述传感器数据包括关于所述听者的耳朵的深度信息；基于传感器数据确定房间的实际物理特性(302)；确定虚拟环境的虚拟特性；将所述虚拟特性应用于所述实际物理特性；构建包括应用于所述房间的实际物理特性的虚拟特性的所述房间的模型，包括用来自所述虚拟环境的虚拟物体的虚拟物理特性替代所述房间中实际物体的实际物理特性；基于所述传感器数据确定听者在所述房间中的位置(304)；从关于所述听者的耳朵的深度信息确定所述听者的耳朵的物理特性；基于所述听者的耳朵的物理特性从与头部相关的传输函数HRTF库中确定HRTF；基于包括应用于所述房间的实际物理特性的虚拟物理特性的所述房间的模型和所述听者在所述房间中的位置以及所述听者的HRTF来确定3D音频信号，基于包括应用于所述房间的实际物理特性的虚拟物理特性的所述房间的模型来确定3D音频信号包括确定虚拟物体的虚拟物理特性将会如何影响声音反射(306)。