基于能量最小化框架的文档图像倾斜度检测与纠正方法

摘要

本发明提出了一种基于能量最小化框架的文档图像倾斜度检测和纠正方法，该方法的研究对象为机打文档图像，文档图像中的内容可以是文字、表格、图片等。本发明首先需要使用扫描仪将文档扫描成电子文档图像，然后估算前景像素状态信息，然后利用前景像素状态信息构建能量函数，然后利用图像处理技术和直线拟合技术计算初始的倾斜度，最后进行能量最小化过程得到最终的倾斜度并将文档图像进行纠正。本发明能适用于多种不同类型的文档，使得倾斜度检测更加精确，在保证精度的同时也提高了倾斜度检测的速度。

主权项

基于能量最小化框架的文档图像倾斜度检测与纠正方法，其特征在于，该方法包括三个过程：(1)计算前景像素状态信息在计算前景像素状态信息之前，首先对扫描得到的文档图像进行二值化，用黑色表示前景，白色表示背景像素，给定一个前二值文档图像I之后，前景像素的状态计算过程如下：一个边界框定义为一个文档图像的边界，用P记作整个前景像素的集合，(W，H)记作文档图像I的大小，那么对每一个前景像素p∈P，它的状态信息为s_p＝(x_p，y_p，w_p，h_p)，其中x_p，y_p，w_p，h_p分别为p到图像最左、最上、最右和最下边的距离；(2)利用直线拟合技术估算初始倾斜度接下来利用文档图像中最外围的前景像素的状态信息来估算初始倾斜度，一个边界框有四个边：上、下、左和右，对每一边都能得到其最外围的前景像素状态信息子集，用以下方式得到上边最外围前景像素状态信息子集，记为$\begin{array}{c}TS=\underset{i=1}{\overset{W}{\cup }}{s}_i\\ y_i\in s_i\cap y_i=min\left\{y_p\right|y_p\in s_p\cap x_p\in s_p\cap x_p=i\}\end{array}---\left(1\right)$将TS中每个元素的x_p做为x坐标，y_p作为y坐标画图，图中的点拟合成一条直线，边界框剩下的三边都经过该处理，将使用直线拟合的技术来估算文档图像的初始倾斜度，在直线拟合之前先对TS进行采样，用如下方式将TS划分为N个互不重叠的部分STS_i：N＝32，接下来用如下方式构建一个子集FTS，即计算每个部分STS_i中y_i最小的那个前景像素状态信息：$\begin{array}{c}FTS=\underset{i=1}{\overset{N}{\cap }}(s_i\cap s_i\in {\mathrm{STS}}_i)\\ y_i\in s_i\cap y_i=\min \left\{y_p\right|y_p\in s_p\cap s_p\in {\mathrm{STS}}_i\}\end{array}---\left(3\right)$进行采样操作完之后，需要通过以下方式进一步消除没用的状态信息得到有效的用来进行直线拟合的状态信息VTS：$VTS=\left\{s_p\right|s_p\in FTS\cap y_p\in s_p\cap y_p<\frac{H}{3}\}---\left(4\right)$然后采用穷举搜索的方式在VTS中做直线拟合直到找到两个状态信息使得有最多的其他状态信息到由这两个状态信息确定的直线之间的距离小于指定的阈值D；对边界框的四边都进行直线拟合之后得到四条直线，接下来就是找到拟合最好的那条直线，同时该直线对应的倾斜角就是文档图像的初始倾斜角；用{l_t，l_b，l_l，l_r}记作拟合的四条直线，{LS_t，LS_b，LS_l，LS_r}记作靠近相应直线的状态信息，要是某条直线对应的状态信息的个数小于M，在下面的操作中将不再考虑该直线，对每条直线l_i∈{l_t，l_b，l_l，l_r}，计算其对应的所有状态信息LS_i和直线l_i之间的距离之和SD_i，然后用如下方式计算比值R_i：$R_i=\frac{{\mathrm{SD}}_i}{{\left(f\right({\mathrm{LS}}_i\left)\right)}^2}---\left(5\right)$其中f(·)计算一个集合中元素的个数，{R_t，R_b，R_l，R_r}中的最小值对应的直线就是最佳拟合的直线，最终最佳拟合的直线对应的倾斜角就是文档图像的初始倾斜角，其中D＝5，M＝5；(3)使用能量最小化过程计算最终倾斜度得到初始倾斜角之后，然后用能量最小化过程计算最终倾斜角，如下式所示：$\hat{S}=\underset{S}{\arg \min }E\left(S\right)---\left(6\right)$该过程包括能量函数构建和能量最小化两个步骤，如下式所示：E(S)＝ωE_B(S)+(1‑ω)E_F(S)   (7)ω＝0.98，其中E_B(S)考虑了全局背景信息，如下式所示：设置和φ(·)为：其中Sgn(·)是一个符号函数，定义为：E_F(S)反应了全局的前景信息，如下式所示：E_F(S)＝δ(S)+λ(S)   (11)设置δ(·)和λ(·)为：$\begin{array}{c}\delta \left(S\right)=\frac{1}{M_Y}\sqrt{\frac{1}{f\left(Y\right)}\underset{k=1}{\overset{f\left(Y\right)}{\Sigma }}{\left(f\right(Y_k)-\bar{Y})}^2}\\ \bar{Y}=\frac{1}{f\left(Y\right)}\underset{k=1}{\overset{f\left(Y\right)}{\Sigma }}f\left(Y_k\right)\\ \lambda \left(S\right)=\frac{1}{M_X}\sqrt{\frac{1}{f\left(X\right)}\underset{k=1}{\overset{f\left(X\right)}{\Sigma }}{\left(f\right(X_k)-\bar{X})}^2}\\ \bar{X}=\frac{1}{f\left(X\right)}\underset{k=1}{\overset{f\left(X\right)}{\Sigma }}f\left(X_k\right)\end{array}---\left(12\right)$其中M_Y＝max{f(Y_i)|Y_i∈Y}，M_X＝max{f(X_i)|X_i)∈X}，且f(·)计算一个集合中元素的个数；构造完能量函数以后，根据直线拟合得到的初始倾斜角和所有前景像素的状态信息，通过反复地计算能量函数和旋转前景像素的状态信息，找到使得能量函数值最小时所旋转的角度，这个角度就是最终的倾斜角；状态信息的旋转过程如下：S′＝rotate(S，θ)   (13)其中rotate(·)计算每个前景像素的状态信息s_p∈S旋转后的结果s_p′，计算过程如下：$\begin{array}{c}{x_p}^{\prime }=(x_p-\frac{W}{2})\cos \theta -(y_p-\frac{H}{2})\sin \theta +\frac{W}{2}\\ {y_p}^{\prime }=(x_p-\frac{W}{2})\sin \theta +(y_p-\frac{H}{2})\cos \theta +\frac{H}{2}\\ {w_p}^{\prime }=W-{x_p}^{\prime },{h_p}^{\prime }=H-{y_p}^{\prime }\end{array}---\left(14\right)$。