| 主权项 |
一种基于高阶奇异值分解的多传感器视频融合方法，包括如下步骤： (1)对输入的已经经过空间和时间配准的视频a和b，分别进行3D‑ST变换，得到视频a的低通子带系数Ra(x,y,t)、带通子带系数Ca(x,y,t)和视频b的低通子带系数Rb(x,y,t)、带通子带系数Cb(x,y,t)： 其中，(x,y)表示空间坐标，t表示时间坐标； (2)将视频a的带通子带系数Ca(x,y,t)和视频b的带通子带系数Cb(x,y,t)按如下方式构成一个四阶张量υ(x,y,t,n)： 其中，n表示输入视频的个数，当n=1时，υ(x,y,t,n)=Ca(x,y,t)； 当n=2时，υ(x,y,t,n)=Cb(x,y,t)； (3)对四阶张量υ(x,y,t,n)进行高阶奇异值分解，得到核心张量δ、x方向上的正交矩阵Q、y方向上的正交矩阵I、t方向上的正交矩阵G和n方向上的正交矩阵W； (4)将核心张量δ、方向x上的正交矩阵Q、方向y上的正交矩阵I和方向n上的正交矩阵W进行乘积运算，得到特征图像ζ(x,y,t,n)， 其中，n表示输入视频的个数； (5)根据所述时间坐标t和输入视频的个数n的取值，对特征图像ζ(x,y,t,n)进行分类： 当t=1，n=1时，则用特征图像ζ(x,y,t,n)表示输入视频a的空间几何特征背景图像ζ(x,y,1,1)； 当t≠1，n=1时，则用特征图像ζ(x,y,t,n)表示输入视频a的时间运动特征图像ζ(x,y,t,1)； 当t=1，n=2时，则用特征图像ζ(x,y,t,n)表示输入视频b的空间几何特征背景图 像ζ(x,y,1,2)； 当t≠1，n=2时，则用特征图像ζ(x,y,t,n)表示输入视频b的时间运动特征图像ζ(x,y,t,2)； （6)对视频a的空间几何特征背景图像ζ(x,y,1,1)和视频b的空间几何特征背景图像ζ(x,y,1,2)，按照基于相似度选择和加权平均相结合的融合策略进行融合，获得融合空间几何特征图像V(x,y,1)； (7)对视频a的时间运动特征图像ζ(x,y,t,1)和视频b的时间运动特征图像ζ(x,y,t,2)，按照基于去噪和融合相结合的融合策略进行融合，获得融合时间运动特征图像Z(x,y,t)，t≠1； (8)对融合空间几何特征图像V(x,y,1)、融合时间运动特征图像Z(x,y,t)和t方向上的正交矩阵G，通过高阶奇异值分解重建获得融合带通方向子带系数Cf(x,y,t)； (9)对视频a的低通子带系数Ra(x,y,t)和视频b的低通子带系数Rb(x,y,t)，利用加权平均的融合策略进行组合，得到融合低通方向子带系数Rf(x,y,t)； (10)对融合带通方向子带系数Cf(x,y,t)和融合低通方向子带系数Rf(x,y,t)进行三维surfacelet变换的逆变换，得到融合后视频f。 |
