基于数字电路和稀疏点配准的零延迟电子稳像方法

摘要

本发明公开了一种基于数字电路和稀疏点配准的零延迟电子稳像方法,属于图像处理领域。为了解决电子稳像的实时计算问题，本发明实施例设计了一种适合用数字电路实现且基于并行计算的稀疏点配准算法，并在此基础上设计了完整的实时电子稳像方案，开发了以FPGA为计算主体的原型系统，将包括图像抖动补偿在内的99％以上的计算量都实现在了数字电路流水线上。无论图像分辨率多高，本发明实施例所实现的电子稳像方法都没有任何帧延迟，所有计算都在采集图像的同时完成，实现了最佳的实时性能。该方法能够在摄像头发生大幅度旋转抖动和平移抖动的情况下最大限度地维持视频的稳定，而且不针对任何特定场景，摄像头可随意运动，转向任意场景。

主权项

一种基于数字电路和稀疏点配准的零延迟电子稳像方法，其特征在于：以数字电路为计算主体，在通用处理器的协助下，实现如下计算步骤：步骤1：基于所述数字电路进行图像预处理；其中，构建流水线，对输入的数字化图像信号进行处理，首先通过滤波来平滑图像，然后计算所述平滑图像中每一点处的灰度梯度，最后通过一定的梯度阈值将所述平滑图像二值化，得到由粗线条勾勒出来的二值图像；步骤2：基于所述数字电路提取描述符向量；其中，继续构建流水线，其输入信号为上一步骤得到的所述二值图像，每个像素用一个比特表示；首先在所述二值图像上开辟一个滑动窗口；然后对所述滑动窗口内的局部二值图像提取描述符向量；本步骤与上一步骤连成一条流水线，随着原始图像像素的一个个输入，经过一定的所述流水线的延迟，得到图像中以每个像素位置为中心的一个个局部图像描述符向量；步骤3：基于所述数字电路选取基准点；其中，对所述二值图像进行区域划分，在所述流水线处理过程中，对同一个区域内不同像素位置的描述符向量进行比较和甄别，将各维度数值方差最大的那个描述符向量所对应的像素位置作为相应区域内的基准点，根据所述基准点的描述符向量间接估算所述滑动窗口内的黑白像素个数，并据此判断该基准点是否有效，将每个区域的基准点坐标及对应的描述符向量和基准点有效性判断结果都存储下来；本步骤与前述步骤连成一条流水线；步骤4：基于所述数字电路搜索匹配点；其中，将处理上一帧时存储下来的所述所有基准点坐标和对应的描述符向量从所在寄存器的输出端引出，然后在当前帧中寻找所述基准点的匹配点；以所述每个基准点为中心，在一定的半径范围内寻找所述匹配点，以描述符向量的距离作为匹配标准，在所述一定的半径范围内寻找与所述基准点描述符向量距离最小的那个描述符向量，其所对应的像素位置就是该基准点的匹配点；本步骤的计算流水线接在所述步骤2后面，与所述步骤3并行，也就是说所述数字电路的计算流水线经过所述步骤1、所述步骤2之后就产生了分叉，分别流向所述步骤3、所述步骤4两个并行的计算分支，其中所述步骤3得到供下一帧使用的所有基准点，所述步骤4得到上一帧的每个基准点在当前帧的匹配点；步骤5：基于所述通用处理器进行低通滤波；其中，所述数字电路在处理完每一帧二值图像之前，将所述上一帧中的基准点坐标及所述当前帧中所对应的匹配点坐标都传给所述通用处理器，所述通用处理器在此基础上通过求解方程组得到帧间变换参数，然后结合历史记录完成低通滤波计算，分离出高频抖动，并将下一帧的抖动补偿参数传给所述数字电路；步骤6：基于所述数字电路进行抖动补偿；其中，所述数字电路根据所述通用处理器传来的所述抖动补偿参数，对输入的每个像素进行实时变换，将所述输入的每个像素变换到新位置，而像素的数值保持不变；本步骤与前述所有步骤并行，也就是说，每一帧所述数字化图像输入所述数字电路后都由两个并行的流水线分支进行处理，一个分支完成所述步骤1到所述步骤4的计算，另一个分支则完成本步骤的计算。