基于随机传声器阵列和双目视觉的获取运动声场视频的方法

摘要

本发明涉及一种基于随机传声器阵列和双目视觉的获取运动声场视频的方法，属于噪声分析和控制技术领域。首先利用随机传声器阵列获取声场信息，利用双目立体视觉技术进行声场空间的三维测量和运动物体的自动追踪，建立声场空间与信号之间的时空关系，并将声场测量结果与摄像机的三维视频图像匹配在一起，将物体的运动过程与声场的动态变化过程以动态视频的效果直观进行显示，并获得各个噪声源的位置。本发明方法使已有的声场可视化的方法更准确实用，使运动噪声的测量和识别变得容易，为进一步的声源识别和降噪工作提供更准确的依据。

主权项

1.一种基于随机传声器阵列和双目视觉的获取运动声场视频的方法，其特征在于该方法包括以下步骤：(1)设测量用传声器所在的阵列平面A的长度为L₁、高度为H₁，被测运动物体所在平面R的长度为L₂、高度为H₂，阵列平面A与平面R之间的垂直距离为D；(2)设上述测量用传声器数目为N，任意布置N个传声器在阵列平面A中的位置，形成一个仿真传声器阵列，通过仿真计算对该传声器阵列的分辨性能进行判断，方法如下：首先得到随机传声器阵列中各个传声器的仿真声压信号其中第i个传声器的仿真声压信号为：${\tilde{p}}_i\left(t\right)=\frac{1}{4\pi }\frac{\tilde{q}[t-\frac{{\tilde{r}}_i\left(t\right)}{c}]}{{\tilde{r}}_i\left(t\right){[1-M\cos {\tilde{\theta }}_i\left(t\right)]}^2}$其中，为仿真被测声源特征函数为仿真实测声源强度，f为仿真被测声源的频率，为在t时刻Q点距第i个传声器间的距离，θ_i(t)为在t时刻Q点到第i个传声器连线与Q点运动方向间的夹角，M为马赫数，Q为仿真被测点声源；根据上述传声器的仿真声压信号，计算出待测运动物体所在平面R上任意一点处在t₁至t₂时间段内的仿真声场特征函数：${\tilde{W}}_p(ϵ,\eta )={\int }_{t_1}^{t_2}{\tilde{P}}^2(t,ϵ,\eta )\mathrm{dt},$其中，$\tilde{P}(t,ϵ,\eta )=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{\tilde{p}}_i(t+\frac{{\tilde{r}}_i(t,ϵ,\eta )}{c})$为t时刻面上任意点与第i个传声器之间的物理距离；遍历待测运动物体所在平面R，得到仿真声场特征函数分布图，设分布图中主瓣峰值为h_p，最大旁瓣峰值为h_v，则旁瓣抑制比γ_f为：${\gamma }_r=20\log \left(\frac{h_p}{h_v}\right)$若γ_f≥N且上述传声器数8≤N＜16，或γ_f≥16且上述传声器数N≥16，则该随机传声器阵列满足频率f下的分辨性能要求，进行下一频率的判断；在下一频率重复上述仿真步骤，若在对每一频率的仿真都满足上述分辨性能要求，则得到测量用的随机传声器阵列；否则随机生成一个新的仿真传声器阵列，重复上述判断过程，直至得到一个满足上述分辨性能要求的仿真传声器阵列；(3)搭建一个与上述仿真步骤得到的仿真传声器阵列相同的传声器阵列；(4)在被测运动物体侧面粘贴10～30个标志图，在与被测运动物体相距L处布置两台摄像机，两台摄像机之间的距离为d，对两台摄像机分别进行标定，获取第一台摄像机的内部参数和外部参数：摄像机主点坐标(u₀₁，v₀₁)、镜头焦距f₁及像素的物理尺寸dx₁×dy₁，摄像机旋转矩阵R₁及平移向量t₁；获取第二台摄像机的内部参数和外部参数：摄像机主点坐标(u₀₂，v₀₂)、镜头焦距f₂及像素的物理尺寸dx₂×dy₂，摄像机旋转矩阵R₂及平移向量t₂；根据第一台摄像机和第二台摄像机的上述参数，分别得到第一台摄像机和第二台摄像机的投影矩阵为：$M_1=\left[\begin{array}{cccc}\frac{f_1}{d{x}_1}& 0& u_{01}& 0\\ 0& \frac{f_1}{d{y}_1}& v_{01}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_1& t_1\\ 0^T& 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right],$$M_2=\left[\begin{array}{cccc}\frac{f_2}{d{x}_2}& 0& u_{02}& 0\\ 0& \frac{f_2}{d{y}_2}& v_{02}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_2& t_2\\ 0^T& 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right];$(5)设被测运动物体以速度v行驶，用上述搭建的传声器阵列获取被测运动物体声源的声压信号，用两台摄像机分别获取被测运动物体的动态视频；(6)分别将上述两台摄像机获取的动态视频拆解成图像，在拆解后的视频图像中识别出被测运动物体上的标志点，对分别识别出的第一台摄像机和第二台摄像机图像上的标志点进行匹配，使被测运动物体上的同一标志点在两台摄像机所获图像上的位置相对应；(7)设被测运动物体上的标志图的中心点P在两台摄像机所获取图像上所成的像的齐次坐标分别为(u₁，v₁，1)^T，(u₂，v₂，1)^T，在世界坐标系下的齐次坐标为(X，Y，Z，1)^T，则根据上述摄像机的投影矩阵，有：$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=M_1\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right],$$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=M_2\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$其中，Z_c1、Z_c2分别为P点在第一台摄像机和第二台摄像机的摄像机坐标系中沿摄像机光轴的坐标，求解上述方程组，得到被测运动物体上的标志点P在世界坐标系下的坐标(X，Y，Z，1)^T；(8)对上述传声器阵列获取的声压信号进行波束成型处理，得到被测运动物体上任意一点s(ε，η)处在t₁至t₂时间内的声场特征函数：$W_p(ϵ,\eta )={\int }_{t_1}^{t_2}{P}^2(t,ϵ,\eta )\mathrm{dt},$其中，$P(t,ϵ,\eta )=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{p}_i(t+\frac{r_i(t,ϵ,\eta )}{c})$p_i(t)为t时刻第i个传声器接收到的信号声压，r_i(t，ε，η)为t时刻面上任意点s(ε，η)与第i个传声器之间的物理距离，c为声速，N为传声器数目，ΔT为摄像机每帧图像间的时间间隔，设根据T₁时刻的图像获得了被测运动物体的空间位置，取遍历被测运动物体表面，得到被测运动物体的声场特征函数分布图；(9)将上述被测运动物体的声场特征函数分布图与上述任意一台摄像机的视频图像进行逐帧空间坐标叠加，并还原成动态视频图像。