一种图像融合的基于行的硬件实现方法

摘要

本发明属于数字视频技术领域，具体为一种图像融合的基于行的硬件实现方法。对于一个普适的视频拼接应用，需要执行获取、投影、匹配、缩放和旋转、校正、缝合、拼接、输出等一系列操作。本发明将匹配操作交由软件执行一次，剩余的获取、校正、缝合、拼接和输出操作交由硬件执行；图像获取使用带有先入先出缓存的摄像头加以配合，图像校正，使用三个乘法器来完成；图像缝合使用基于行的缝合算法，图像拼接使用基于行的拼接算法，图像输出采用两种模式。本发明可以将处理单位从一帧像素缩减到一行像素，有效地减少硬件实现下的处理速度，从而高效地实现数字视频的实时融合操作。

主权项

一种图像融合的基于行的硬件实现方法，在视频融合过程中，以一帧图像为单位执行获取、投影、匹配、缩放和旋转、校正、缝合、拼接、输出一系列操作；具体针对具有以下特征的图像融合：可以忽略尺寸失配、可以忽略角度失配、固定摄像头位置和角度，基于上述特征，投影、缩放和旋转不必执行，匹配操作只执行一次；其特征在于： 将匹配操作交由软件执行一次，剩余的获取、校正、缝合、拼接和输出操作交由硬件执行；对于图像的获取，使用带有先入先出缓存（FIFO）的摄像头加以配合，使得对于图像数据的获取是间断的，并由获取模块控制，这也使得对于图像的获取操作基于行进行；对于图像的校正，使用三个乘法器来完成；乘法器的一组因数是像素在红绿蓝（RGB）通道中的数值，另一组因数是各通道的校正系数；该系数同样由软件计算得到，用于调整红绿蓝（RGB）的相对权重和绝对权重；对于图像的缝合，使用如下的基于行的缝合算法：依据公式（1）计算第1行内重叠部分所有对应像素的绝对差，取值最小的一对像素点的位置作为缝合线的起点，并记为i₁：（1）其中，i是像素所处的列坐标，j是像素所处的行坐标，以视频源重叠的部分作为起点，d_i,j是重叠部分第j行第i列的对应像素的绝对差，B^ov_1,i,j和B^ov_2,i,j分别是第1个视频源和第2个视频源重叠部分第j行第i列的像素，而所谓重叠部分指的是两个视频源所拍摄到的相同的一部分镜头，需要在融合时合并为一个镜头，m是重叠部分的总列数；依据公式（2）计算第2行直至最后1行的在[i_j‑1‑2,i_j‑1+2]范围内的所有对应像素的绝对差，取差值最小的一对像素点的位置作为该行的缝合点，并根据当前行数j记为i_j：（2）其中，i是像素所处的列坐标，j是像素所处的行坐标，以视频源重叠的部分作为起点，d_i,j是重叠部分第j行第i列的对应像素的绝对差，B^ov_1,i,j和B^ov_2,i,j分别是第1个视频源和第2个视频源重叠部分第j行第i列的像素，n是重叠部分的总行数；最后，将缝合线的起点i₁和后续的缝合点i₂，i₃，i₄，……，i_n连接，即可得到缝合线； 对于图像的拼接，使用如下基于行的拼接算法：根据公式（3）计算对应点拼接后的值： （3）其中，F表示融合后图像，p表示当前点，I_l表示被融合图像，l=1、2,  i_j是当前行的缝合点，l_blend是执行拼接的范围，α表示融合系数，由公式4计算都得到：（4）其中，d表示当前点p到拼接范围的边界的距离；对于图像的输出，采用两种模式：模式一，将视频源的数据直接输出，以供软件处理以完成只需要执行一次的匹配操作和对于校正数据的计算；模式二，将融合后的图像输出；上述两种模式也都是基于行完成，即在模式一情况下，输出紧跟着对于一行原始数据的获取之后立刻进行；模式二情况下，输出紧跟这对于一行数据的拼接操作之后立刻进行。