基于游程邻接图的复杂背景彩色图像中字符提取方法

摘要

基于游程邻接图的复杂背景彩色图像中字符提取方法，属于彩色图像文字识别预处理中的文字字符提取领域。在得到数字彩色图像之后，首先使用CRAG(color run－length adjacency graph)区域生长算法得到图像的所有彩色连通域，再通过对这些连通域的颜色平均值进行颜色聚类，得到若干个颜色中心，以此颜色中心形成不同的颜色层面，然后将符合连通域判别规则的彩色连通域分到若干个颜色层面上。最后通过特征分析和大小一致性判据从颜色层面中挑选出文字字符图像层面，获得在文字图像层面的字符图像。该算法解决了彩色文字字符笔画图像渐变的字符图像提取问题，并具有较高的提取速度，具有较高的提取准确率，同时保留了文字和背景图像的原始色彩，便于将来的图像恢复。

主权项

1.基于游程邻接图的复杂背景彩色图像中字符提取方法，其特征在于：它依次包含以下步骤：(1)通过图像采集设备把彩色印刷文档或照片图像扫描入图像处理器中；(2)在上述图像处理器中设定：图像的高和宽分别用符号H和V表示；图像中每一行象素与同一行和它紧邻的彩色游程在RGB空间内的欧氏距离opq的阈值为TD；从图像的第二行开始算起，该彩色游程与上一相邻行在位置上是4邻域相连的彩色游程在RGB空间的欧氏距离opp′的阈值是TV，选取TD＝TV＝12～16；连通域的初始中心与组成图像所有连通域的集合中的其他连通域在RGB彩色空间的欧氏距离ocn的阈值TC，选取TC＝20～50；待选连通域最大高度Hmax＝min(H，400)，象素数；待选连通域最大宽度Vmax＝min(V，400)，象素数；待选连通域最小高度Hmin＝3，象素数；待选连通域最小宽度Vmin＝3，象素数；待选连通域的高宽比或宽高比的最小值为1，最大值为50；各连通域的象素密度用$(\underset{u=1}{\overset{m_n}{\Sigma }}{f}_{p_u}/h_n\times v_n)$ 表示，hn和vn分别指代的是所得彩色连通域的高和宽，mn表示第n个连通域内的彩色游程数，fpu表示第pu个游程的游程长度，设定：$Q_2>(\underset{u=1}{\overset{m_n}{\Sigma }}{f}_{p_u}/h_n\times v_n)>Q_1,$ Q1＝0.1～0.5，Q2＝0.6～1；在连通域彩色聚类过程中的阈值TC＝20～50；在选取得到的备选彩色层面数K≤L+2，L＝4；(3)分割彩色图像，获取彩色连通域，即一幅图像用连通域集合来描述；(3.1)从每一行的第一个象素开始，认为该象素为一个新的游程的起始点，计算该起始点和同一行中与它紧邻的象素在RGB空间内的欧氏距离opq，其中所述的彩色游程表示如下：Rp{(rp，gp，bp)，(xp，yp)，fp}，rp，gp，bp是游程上各点在RGB彩色空间的r，g，b颜色分量平均值，(xp，yp)为该游程的起始坐标，fp为游程的长度：$o_{\mathrm{pq}}=\sqrt{{(r_q-r_p)}^2+{(g_q-q_p)}^2+{(b_q-b_p)}^2}.$ 若opq＜TD，则把两个象素合并成为一个游程，并计算该游程的平均r，g，b值，即rp，gp，bp：$r_p=\frac{(r_p\times f_p+r_q)}{f_p+1};$ $g_p=\frac{(g_p\times f_p+g_q)}{f_p+1};$ $b_p=\frac{(b_p\times f_p+b_q)}{f_p+1};$ 游程的长度增1：fp＝fp+1；反之，第二个象素便成为新游程的起始点，继续计算其与下一个相邻象素的欧氏距离，如果仍小于TD，就将该象素加入该游程，并重新计算它的r，g，b值，否则，以该象素点为下一个新游程起始点；根据上述规则，可以这样遍历图像每一行中的所有象素得到若干个彩色游程；(3.2)从图像的第二行开始得到彩色游程后，计算该游程与上一相邻行在位置上是4邻域相连的彩色游程在RGB空间的欧氏距离opp′：$o_{{\mathrm{pp}}^{\prime }}=\sqrt{{(r_{p^{\prime }}-r_p)}^2+{(g_{p^{\prime }}-g_p)}^2+{(b_{p^{\prime }}-b_p)}^2}.$ 判断该距离是否小于TV，若小于则合并为同一个连通域，即连接这两个游程；反之，作为新连通域的起始游程；以这种方式遍历完整幅图像后，根据游程之间的连接关系便可以得到组成图像的所有连通域的集合{Cn|n＝1，2，...，K}；所述连通域用下列结构式表示：Cn{(rn，gn，bn)，Xn，(vn，hn)}，(rn，gn，bn)表示的是连通域Cn的平均颜色r，g，b值，$r_n=\underset{u=1}{\overset{m_n}{\Sigma }}(r_{p_u}\times f_{p_u})/\underset{u=1}{\overset{m_n}{\Sigma }}{f}_{p_u}---(1-2)$ $g_n=\underset{u=1}{\overset{m_n}{\Sigma }}(g_{p_u}\times f_{p_u})/\underset{u=1}{\overset{m_n}{\Sigma }}{f}_{p_u}---(1-3)$ $b_n=\underset{u=1}{\overset{m_n}{\Sigma }}(b_{p_u}\times f_{p_u})/\underset{u=1}{\overset{m_n}{\Sigma }}{f}_{p_u}---(1-4)$ Xn＝{Rpu| u＝1，2...mn}表示该连通域内包含的所有彩色游程的集合，通过简单计算很容易得到连通域的高vn和宽hn；(4)对连通域进行彩色聚类，以得到适当数目的颜色聚类中心；同时按以下三个准则选取参与彩色聚类的连通域样本：1)Hmin＜hn＜Hmax，Vmin＜vn＜Vmax，即参与彩色聚类的连通域的高度和宽度都要在上述设定范围内；2)$H\_V\min <h_n/v_n<H-V\max ,$ 或者$V\_H\min <v_n/h_n<V\_H\max ,$ 其中的H_Vmin和H_Vmax分别指的是连通域的高度与宽度比值的最小和最大值，同样，V_Hmin和V_Hmax指的是宽高比的最小和最大值；3)$Q_2>(\underset{u=1}{\overset{m_n}{\Sigma }}{f}_{p_u}/h_n\times v_n)>Q_1,$ 即连通域的象素密度在Q1和Q2之间；(5)形成图像层面，并从中删除噪声层和明显的背景层，并得到有可能包含文字的图像层；(5.1)形成图像层面把所有高或宽分别小于文本区域图像的高或宽的连通域都与颜色中心比较，如果连通域的平均颜色值和颜色中心的欧氏距离小于TC，便将满足这个条件的连通域放在一个图像层面上，从而可以得到多个层面，同时把它们全部转为白底黑字的图像；(5.2)按照以下准则依次排除非文字字符层1)当每一个文字层的象素数少于200个，定为噪声层，予以排除；2)如果连通域的高和宽和测试图像大小相当，就把该连通域的中心颜色作为背景色，它所在层面为背景层面；(5.3)在前景色不多于L个的条件下，若剩下图像层面数大于L个时，便选取层面中所包含黑色象素总数排在前L+2个的层面，作为可能存在文字字符图像的层面，按以下步骤处理；前景指的是整幅图像中所包含的文字字符图像，前景色指的是这些文字字符图像的大致颜色，图像中除了文字字符图像以外的部分都称为背景；(6)根据一致性判据公式计算得到的步骤(5.3)所得的可能的文字字符图像层的一致性判决值Pi，(1≤i≤K)，K为上述层面数，进行排序，其Pi值最大的层面即为最可能的文字字符层面；(6.1)对于所述K个层面分别作为水平和垂直方向的投影，可以得到水平方向投影宽度uil(0≤l＜Ni)和垂直方向的投影宽度wij(0≤j＜Mi)，i为图像层面的序号，l代表水平方向投影宽度的序号，j代表垂直方向投影宽度的序号，为了消除小噪声的干扰，每一个坐标位置上的对应的投影黑色象素数目必须超过5个；同时，仅统计两个方向上投影宽度超过10个象素宽的投影个数Ni和Mi，即Ni和Mi分别为在两个方向上得到的符合要求的投影宽度的总数；水平方向上相邻两个投影宽度之间的距离为水平投影间隔宽度eis(0≤s＜Zi)，垂直方向上相邻两个投影宽度之间的距离为垂直投影间隔宽度dit(0≤t＜Yi)，Zi和Yi分别为在两个方向上得到的投影间隔宽度的总数；(6.2)计算以下各值：水平方向投影的平均宽度${\mathrm{AvgH}}_i=\frac{1}{N_i}\underset{l=0}{\overset{N_i-1}{\Sigma }}{u}_{\mathrm{il}},$ 垂直方向投影的平均宽度${\mathrm{AvgW}}_i=\frac{1}{M_i}\underset{j=0}{\overset{M_i-1}{\Sigma }}{w}_{\mathrm{ij}},$ 水平方向投影间隔的平均宽度${\mathrm{AvgE}}_i=\frac{1}{Z_i}\underset{s=0}{\overset{Z_i-1}{\Sigma }}{e}_{\mathrm{is}},$ 垂直方向投影的平均宽度${\mathrm{AvgD}}_i=\frac{1}{Y_i}\underset{t=0}{\overset{Y_i-1}{\Sigma }}{d}_{\mathrm{it}},$ 水平投影宽度的方差为${\mathrm{VarH}}_i=\sqrt{\underset{l=0}{\overset{N_i-1}{\Sigma }}{(u_{\mathrm{il}}-\mathrm{Avg}{H}_i)}^2/N_i},$ 垂直投影宽度的方差为${\mathrm{VarW}}_i=\sqrt{\underset{j=0}{\overset{M_i-1}{\Sigma }}{(w_{\mathrm{il}}-\mathrm{Avg}{W}_i)}^2/M_i},$ 水平投影间隔宽度的方差${\mathrm{VarE}}_i=\sqrt{\underset{s=0}{\overset{z_i-1}{\Sigma }}{(e_{\mathrm{il}}-\mathrm{Avg}{E}_i)}^2/Z_i},$ 垂直投影间隔宽度的方差${\mathrm{VarD}}_i=\sqrt{\underset{t=0}{\overset{Y_i-1}{\Sigma }}{(d_{\mathrm{it}}-\mathrm{Avg}{D}_i)}^2/Y_i};$ (6.3)在原文字区域图像内文字颜色单一，所含文字行或列的总数小于三个，且行或列方向上的文字近似在一条直线上，按下式计算一致性判据值Pi：$P_i=\frac{\min (\mathrm{Avg}{H}_i/\mathrm{Avg}{W}_i,\mathrm{Avg}{W}_i/\mathrm{Avg}{H}_i)\times H\times V}{(1+|\max (N_i,M_i)-\max (H/V,V/H)|/2)\times (1+\max (\mathrm{Var}{D}_i\left)\right)\times (1+\max (\mathrm{Var}{H}_i,\mathrm{Var}{W}_i\left)\right)}$ i为层面数，i＝1，...，K；对得到的Pi按大小排序，取其值最大的文字层面供文字字符切分与识别使用。