一种空时配准解卷积的非同步多视频超分辨率方法

摘要

本发明公开了一种空时配准解卷积的非同步多视频超分辨率方法，首先对采集到的同场景、同时段、非同步视频集进行区域分割，区分出静止区域和活动区域；然后依据视频的静止区域，对视频集进行空间配准，并将视频集里的所有视频配准为同拍摄方位的视频；接着依据视频活动区域，对视频集进行时间配准，并进行同步视频合成重建；最后对合成重建后的视频集再次进行时间配准，并根据配准结果通过解卷积方式实现时间超分辨率重建，得到等时间间隔的高帧率高分辨率视频。本发明在视频空时分辨率提升的基础上，使视频中活动物体的拖尾效应得以解除，同时也摆脱了常规视频超分辨率在帧率提升程度方面的局限。

主权项

一种空时配准解卷积的非同步多视频超分辨率方法，其特征在于，该方法包括以下步骤：(1)使用至少两台摄像机在同一时段对同一高速活动场景进行拍摄，摄像机开始拍摄时刻不全同步，得到视频集I＝{I_i|i∈N}，N为不小于2的自然数集，所述视频集I中的所有视频为同时段但非同步的视频，且空时分辨率均相同；(2)依次对每一部视频I_i进行动、静区域的分割处理得到视频x_i，最终得到视频集X＝{x_i|i∈N}；(3)任选视频集X中的某一视频为空间参考视频，根据视频中的静止区域对视频集X进行空间配准，将所述视频集X中的所有视频配准为与所述空间参考视频同一拍摄方位的等效视频，得到视频集Y＝{y_i|i∈N}；(4)根据视频活动区域中物体的运动状态，对视频集Y进行时间配准，所述时间配准指的是任选视频集Y中的某一视频为时间参考视频，确定每部视频y_i与所述时间参考视频的拍摄时间差，然后进行同步视频合成重建，得到视频集Z＝{z_i|i∈N}；(5)任选视频集Z中的某一视频为时间参考视频，根据视频活动区域中物体的运动状态，对视频集Z进行时间配准，即确定每部视频z_i与所述时间参考视频的拍摄时间差Δt_i；(6)以所述视频集Z中的时间参考视频为基准视频，根据拍摄时间差Δt_i，将视频集Z中的每一部视频z_i插入到所述时间参考视频的时间轴的相应时刻形成视频z，所述视频z的所有视频帧在每个平面坐标(m,n)处的像素均组成一个像素链z(t)_mn，z(t)_mn是非均匀时间间隔采样的离散函数，其中t表示时间；对表达式z(t)_mn＝sample[O(t)_mn*blur(t)]进行解卷积运算，求出未被模糊的高时间分辨率、等时间间隔的原始像素链O(t)_mn，遍历所有坐标(m,n)求解O(t)_mn后，得到视频O，其中，sample[·]为采样函数，*为卷积符号，blur(t)为已知的时间卷积核；(7)输出视频O，作为超分辨率最终结果。