应用于CMOS图像传感器的新型实时插补方法

摘要

本发明涉及数字图像处理领域。为在算法复杂度不高的基础上，对像素边缘和通道相关度的判断更为精确，能得到更好的图像插补效果。且在硬件实现阶段，将数据的输入和输出设计为流水线形式以实现插补的实时性。本发明采取的技术方案是,应用于CMOS图像传感器的新型实时插补算法，包括如下步骤：红色、蓝色像素中缺失的绿色像素值的恢复：像素中缺失红色、蓝色像素值的恢复：红色、蓝色像素中缺失的蓝色、红色像素值的恢复：此两个像素分量的恢复采用的双线性方法，即R、B中缺失的B、R像素值分别由其最相邻的四个对角线上的四个B、R像素的平均值得到；本发明主要应用于数字图像处理。

主权项

1.一种应用于CMOS图像传感器的新型实时插补方法，其特征是，包括如下步骤：红色、蓝色像素中缺失的绿色像素值的恢复：（1）对于位于偶数行奇数列的R₄₃$G_{43}=R_{43}+K_{R_{43}}---(1-1)$$K_{R_{43}}=(K_{R_{33}}+K_{R_{53}}+K_{R_{42}}+K_{R_{44}})/4---(1-2)$其中  $K_{R_{33}}=G_{33}-R_{33}=G_{33}-(R_{23}+R_{43})/2---(1-3)$$K_{R_{53}}=G_{53}-R_{53}=G_{53}-(R_{43}+R_{63})/2---(1-4)$$K_{R_{42}}=G_{42}-R_{42}=G_{42}-(R_{41}+R_{43})/2---(1-5)$$K_{R_{44}}=G_{44}-R_{44}=G_{44}-(R_{43}+R_{45})/2---(1-6)$根据以上公式，首先对像素所处位置进行边缘判定，设：UP＝|R₄₃-R₂₃|  DOWN＝|R₆₃-R₄₃|LEFT＝|R₄₁-R₄₃|  RIGHT＝|R₄₅-R₄₃|1）若UP+DOWN>LEFT+RIGHT则该像素位置在水平方向存在边界，根据（1-1），此时只取水平方向的两个K_R值：$K_{R_{43}}=(K_{R_{42}}+K_{R_{44}})/2---(1-7)$2）若UP+DOWN<LEFT+RIGHT则该像素位置在垂直方向存在边界，根据（1-1），此时只取垂直方向的两个K_R值：$K_{R_{43}}=(K_{R_{33}}+K_{R_{53}})/2---(1-8)$3）若UP+DOWN=LEFT+RIGHT则该像素位置附近不存在边界，值即由（1-1）计算得到；（2）对于位于奇数行偶数列的B₃₄$G_{34}=B_{34}+K_{B_{34}}---(1-9)$$K_{B_{34}}=(K_{B_{33}}+K_{B_{35}}+K_{B_{24}}+K_{B_{44}})/4---(1-10)$其中 $K_{B_{33}}=G_{33}-B_{33}=G_{33}-(B_{32}+B_{34})/2---(1-11)$$K_{B_{35}}=G_{35}-B_{35}=G_{35}-(B_{34}+B_{36})/2---(1-12)$$K_{B_{24}}=G_{24}-B_{24}=G_{24}-(B_{14}+B_{34})/2---(1-13)$$K_{B_{44}}=G_{44}-B_{44}=G_{44}-(B_{34}+B_{54})/2---(1-14)$根据以上公式，首先对像素所处位置进行边缘判定，设：UP＝|B₁₄-B₃₄|  DOWN＝|B₅₄-B₃₄|LEFT＝|B₃₂-B₃₄|  RIGHT＝|B₃₆-B₃₄|1）若UP+DOWN>LEFT+RIGHT则该像素位置在水平方向存在边界，根据（1-9），此时只取水平方向的两个K_B值：$K_{B_{34}}=(K_{B_{33}}+K_{B_{35}})/2---(1-15)$2）若UP+DOWN<LEFT+RIGHT则该像素位置在垂直方向存在边界，根据（1-9），此时只取垂直方向的两个K_B值：$K_{B_{34}}=(K_{B_{24}}+K_{B_{44}})/2---(1-16)$3）若UP+DOWN=LEFT+RIGHT则该像素位置附近不存在边界，值即由（1-9）计算得到；像素中缺失红色、蓝色像素值的恢复：对于当前绿色像素的红色和蓝色分量值的恢复采用相同的方法，以G₃₃为例：（1）对于奇数行奇数列的绿色像素G₃₃缺失的蓝色像素的恢复：$B_{33}=G_{33}+K_{R_{33}}---(1-17)$$K_{B_{33}}=(K_{B_{32}}+K_{B_{34}})/2---(1-18)$$K_{B_{32}}=G_{32}-B_{32}---(1-19)$$K_{B_{34}}=G_{34}-B_{34}---(1-20)$其中 G₃₂＝（G₃₁+G₃₃+G₂₂+G₂₄）/4  （1-21）G₃₄＝（G₃₃+G₃₅+G₂₄+G₄₄）/4  （1-22）（2）对于奇数行奇数列的绿色像素G₃₃缺失的红色像素的恢复：$R_{33}=G_{33}-K_{R_{33}}---(1-23)$$K_{R_{33}}=(K_{R_{23}}+K_{R_{43}})/2---(1-24)$$K_{R_{23}}=G_{23}-R_{23}---(1-25)$$K_{R_{43}}-G_{43}-R_{43}---(1-26)$其中 G₂₃＝（G₁₃+G₂₂+G₂₄+G₃₃）/4 （1-27）G₄₃＝（G₃₃+G₄₂+G₄₄+G₅₃）/4  （1-28）红色、蓝色像素中缺失的蓝色、红色像素值的恢复：此两个像素分量的恢复采用的双线性方法，即R、B中缺失的B、R像素值分别由其最相邻的两条对角线上的四个B、R像素的平均值得到；1)对于位于偶数行奇数列的R₂₃B₂₃＝（B₁₂+B₁₄+B₃₂+B₃₄）/4  （1-29）2)对于位于奇数行偶数列的B₃₂R₃₂＝（R₂₁+R₂₃+R₄₁+R₄₃）/4  （1-30）其中R、G、B分别代表红、绿、蓝三个颜色的像素分量，K_B和K_R表示颜色通道间的相关性，角标代表其在Bayer图中对应的行和列；采用25个寄存器以及4个RAM来实时存储数据，25个寄存器组成第一级5×5寄存器窗口，窗口中间寄存器中对应的像素为当前像素；当从传感器模型传输过来的帧同步信号和行同步信号同时有效时，最末尾的寄存器读入传感器传输过来的Bayer数据；在下一个时钟周期到来时，最末尾的寄存器的数据传递到前一个寄存器中，同时最末尾的寄存器读进新传递过来的Bayer数据，像这样依次传递，传输经过4个RAM，直到传递到第一个寄存器中；当第一级5×5寄存器窗口填满像素数据后，在每下一个时钟周期要将每级5×5寄存器窗口中的值传到下一级的5×5寄存器窗口中去；即横向实时串行开始向第一级5×5寄存器窗口输入像素信息的同时将每级5×5寄存器窗口像素信息纵向并行传输至下一级5×5寄存器窗口保存，依次类推，直至当前像素按照前述红色、蓝色像素中缺失的绿色像素值的恢复，像素中缺失红色、蓝色像素值的恢复，红色、蓝色像素中缺失的蓝色、红色像素值的恢复步骤，进行插补计算、处理完毕。