一种基于FPGA的实时图像自适应增强系统及方法

摘要

一种基于FPGA的实时图像自适应增强系统及方法，输入图像分两路进行处理，第一路先进行Y分量变换，再统计五区域直方图，根据区域直方图自动产生比例系数；第二路先进行位宽变换、数据缓存，然后通过存储器接口驱动模块把图像存入外部存储器中，最后读出图像数据进行图像插值、YUV变换；第一路处理后产生的比例系数和第二路处理后的YUV图像数据，共同作为分段线性变换模块的输入，分段线性变换模块对Y分量进行分段线性变换，输出变换后的YUV图像数据。本发明采用了五段线性变换，首次将五区域直方图与五区域比例系数关联在一起，具有适应范围广，增强效果好的优点。

主权项

一种基于FPGA的实时图像自适应增强系统，其特征在于：包括Y分量变换模块、统计直方图模块、计算比例系数模块、数据转换模块、存储器接口驱动模块、图像插值模块、YUV变换模块、缓存延时模块、分段线性变换模块，在FPGA中能实现。外部传感器将采集的Bayer格式图像数据，包括多比特数据、1bit场同步信号和1bit行同步信号，分别送至数据转换模块和Y分量变换模块；Y分量变换模块，根据1bit场同步信号和1bit行同步信号，将外部传感器采集的Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，变换公式如下：Y＝0.299×R+0.587G+0.114B式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的均值，B为2x2像素中的一个蓝Blue分量；将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，送至统计直方图模块；统计直方图模块，根据Y分量变换后的场同步信号、Y分量变换后的行同步信号，把Y分量变换后的Y分量的灰度值分成5段区域，分别是[0,50]、(50,100]、(100,150]、(150,200]、(200,255]，统计[0,50]区域的Y分量像素个数为R1，统计(50,100]区域的Y分量像素个数为R2，统计(100,150]区域的Y分量像素个数为R3，统计(150,200]区域的Y分量像素个数为R4，统计(200,255]区域的Y分量像素个数为R5，然后把[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，送至计算比例系数模块；计算比例系数模块，根据[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，按照线性比例关系，产生[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，线性比例关系公式如下：其中0≤b＜1，n＝1,2…5式中H、V分别是Bayer格式图像水平方向和垂直方向上的像素个数，b是可以调节的参数，通过改变该参数来控制增强强度；产生的[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，送至分段线性变换模块；数据转换模块，根据外部传感器采集的Bayer格式图像数据中的1bit行同步信号和1bit场同步信号，将外部传感器采集的Bayer格式图像数据中的多比特数据进行位宽转换并通过存储器接口驱动模块存储至外部存储器；同时数据转换模块，通过存储器驱动接口模块，从外部存储器中按行读出Bayer格式图像数据，同时产生按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，并将按行读出的Bayer格式图像数据、按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号送至图像插值模块；图像插值模块，根据按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，对按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像，该三基色RGB彩色图像包括R分量、G分量、B分量、三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，送至YUV变换模块；YUV变换模块，根据三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，对三基色RGB彩色图像进行YUV变换，得到变换后的YUV图像、YUV图像的场同步信号、YUV图像的行同步信号，变换公式如下：$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.289& 0.437\\ 0.615& -0.515& -0.100\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$变换后的YUV图像包括Y分量、U分量、V分量；将该YUV图像的U分量、V分量，送至缓存延时模块；将YUV图像的Y分量、YUV图像的场同步信号、YUV图像的行同步信号，送至分段线性变换模块；分段线性变换模块，根据YUV图像的场同步信号、YUV图像的行同步信号，对YUV图像的Y分量按照[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，进行分段线性变换，公式如下：$y=\left\{\begin{array}{cc}K1*x& x\in [0,50]\\ K2*(x-50)+50*K1& x\in (50,100]\\ K3*(x-100)+50*(K1+K2)& x\in (100,150]\\ K4*(x-150)+50*(K1+K2+K3)& x\in (150,200]\\ K5*(x-200)+50*(K1+K2+K3+K4)& x\in (200,255]\end{array}\right.$式中x为分段线性变换模块输入的Y分量像素值，y为分段线性变换模块输出的Y分量像素值，分段线性变换后输出分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号；缓存延时模块，对YUV图像的U分量、V分量进行缓存延时，使缓存延时后的U分量、缓存延时后的V分量与分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号保持同步后，输出缓存延时后的U分量、缓存延时后的V分量。