一种基于视觉的多视点视频信号编码方法

摘要

本发明公开了一种基于视觉的多视点视频信号编码方法，通过建立被编码的视频图像的视觉显著性图对视频图像感兴趣区域进行划分，在其后的编码过程中，在人眼比较感兴趣的区域采用较小的编码量化参数，而在人眼不太感兴趣的区域采用较大的编码量化参数。虽然本发明在人眼关注度比较低的区域分配较少的码率，但这些区域由于编码所造成的失真不会或很少引起人眼的察觉，因而对图像整体质量的影响并不明显，而与此同时却极大地节省了码率；而在人眼关注度比较高的区域分配较多的码率，可以提高解码图像的整体主观视觉质量，从而提高多视点视频信号编码效率。

主权项

1.一种基于视觉的多视点视频信号编码方法，其特征在于首先建立被编码的视频图像的视觉显著性图以对视频图像感兴趣区域进行划分，在其后的编码过程中，在人眼比较感兴趣的区域分配较多的码率，而在人眼不太感兴趣的区域分配较少的码率，具体包括以下步骤：①计算得到静态视觉的亮度显著性图A_I、颜色显著性图A_H，S和方向显著性图A_θ：A1.记多视点视频中当前正在处理的t时刻的彩色图像为C^t，把彩色图像C^t转换到HSI彩色空间表示，彩色图像C^t的色调分量表示为彩色图像C^t的饱和度分量表示为彩色图像C^t的亮度分量表示为采用Gabor方向滤波器对彩色图像C^t的亮度分量进行滤波，得到彩色图像C^t在0°、45°、90°和135°四个方向的方向分量，分别记为A2.对彩色图像C^t的每一个图像分量P∈{H，S，I，0°，45°，90°，135°}，分别进行高斯金字塔运算，得到彩色图像C^t的各个图像分量的不同层次的图像特征图1≤n≤8，这里，其中为第n层高斯金字塔运算的结果，Gaussian是高斯函数卷积核，符号“*”表示卷积运算，SubSample[Image]表示对输入图像Image的水平和垂直方向均进行1/2下采样；当n＝1时，即为A3.对于彩色图像C^t的各个图像分量计算其高斯金字塔不同层次的图像特征图的Center-Surround差异其中，和分别表示彩色图像C^t的图像分量的高斯金字塔第i层和第j层的图像特征图，i∈{2，3，4}，j＝i+d，d∈{3，4}；符号“Θ”表示将第j层的图像特征图上采样到第i层的图像特征图的尺寸大小，然后将这2幅图像特征图对应像素点进行相减，“|·|”表示取绝对值；A4.对于彩色图像C^t的亮度分量对其6幅Center-Surround差异计算结果进行Across-Scale融合，即其中，表示局部迭代归一化过程，若令M是局部迭代归一化过程的输入图像，则这里DOG是高斯差分函数，c是一个常量，符号“*”表示卷积运算；符号表示先将6幅Center-Surround差异 计算结果局部迭代归一化后得到的图像均下采样到高斯金字塔中第4层图像特征图的尺寸大小，即长宽均为彩色图像C^t长宽的1/16，然后将经上述处理后的6幅Center-Surround差异计算结果相加；对于彩色图像C^t的色调分量和饱和度分量对其12幅Center-Surround差异计算结果以及进行Across-Scale融合，即对于彩色图像C^t的四个方向分量对其24幅Center-Surround差异计算结果进行Across-Scale融合，即A5.对Across-Scale融合的结果分别进行线性归一化使中各个像素的值在0～255之间，记经过线性归一化后的分别为A_⊥、A_H，S、A_θ；②计算其中，和分别为与彩色图像C^t同一个视点的前一时刻t-1时刻和后一时刻t+1时刻的彩色图像C^t-1和C^t+1的亮度分量，符号“∩”表示图像与运算，“|·|”表示取绝对值；对进行线性归一化使其各个像素的值在0～255之间；然后，对线性归一化后的的水平和垂直方向均进行1/16下采样，得到运动视觉显著性图M；③计算得到深度视觉显著性图B，具体步骤为：C1.令表示彩色图像C^t所对应的深度图像，采用Gabor方向滤波器对深度图像进行滤波，得到深度图像的0°、45°、90°和135°四个方向的方向分量，分别记为和C2.对步骤C1得到的每一个图像分量R∈{I，0°，45°，90°，135°}，分别进行高斯金字塔运算，得到深度图像的各个图像分量不同层次的图像特征图1≤n≤8，这里，其中为第n层高斯金字塔运算的结果；当n＝1时，即为C3.对于深度图像的各个图像分量计算其高斯金字塔不同层次的图像特征图的Center-Surround差异，即其中和分别表示图像分量的高斯金字塔第i层和第j层的图像特征图，i∈{2，3，4}，j＝i+d， d∈{3，4}；符号“Θ”表示将第j层的图像特征图上采样到第i层的图像特征图的尺寸大小，然后将这2幅图像特征图对应像素点进行相减；C4.对于深度图像对其6幅Center-Surround差异计算结果进行Across-Scale融合，即其中，表示局部迭代归一化过程，符号表示先将6幅Center-Surround差异计算结果局部迭代归一化后得到的图像均下采样到高斯金字塔中第4层图像的尺寸大小，即长宽均为输入的深度图像长宽的1/16，然后将经上述处理后的6幅Center-Surround差异计算结果相加；对于四个方向分量和对其24幅Center-Surround差异计算结果进行Across-Scale融合，即C5.对Across-Scale融合的结果分别进行线性归一化使中各个像素的值在0～255之间，然后将线性归一化后的进行线性加权融合，得到深度视觉显著性图B；④将静态视觉的亮度显著性图A_I、颜色显著性图A_H，S和方向显著性图A_θ、运动视觉显著性图M、深度视觉显著性图B，按照VPV＝αA_⊥+βA_H，S+γA_θ+λM+ηB进行加权融合，得到输入的彩色图像C^t的视觉显著性图VPV；视觉显著性图中每个像素的像素值vpv_i为彩色图像C^t对应的第i个16×16宏块的视觉优先权值，表征人眼对该宏块的关注度；α、β、γ、λ和η分别是亮度特征、颜色特征、方向特征、运动特征和深度特征的权重系数，表征人眼对这些特征的敏感程度；⑤对彩色图像C^t进行编码，在编码时，根据彩色图像C^t的视觉显著性图VPV调整彩色图像C^t各个16×16宏块的编码量化参数：QP_i＝QP+ΔQP_i，其中QP是由JMVM确定的对于彩色图像C^t进行编码所采用的量化参数，QP_i是编码彩色图像C^t中第i个宏块时最终所采用的量化参数，这里，是彩色图像C^t的第i个16×16宏块的视觉优先权值，vpv_max和vpv_min分别为彩色图像C^t的视觉显著性 图VPV中的最大值和最小值，α₁、β₁、α₂、β₂、γ₂、ω₂、α₃、β₃、γ₃和μ为常数。