一种文本图像的拼接方法及系统

摘要

本发明揭示了一种文本图像的拼接方法及系统，所述方法包括：获取模板图像；获取所有的文本局部图像；将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；匹配成功后，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵；然后将局部图像按照变化矩阵，得到该局部图像变换后的图像；将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图。本发明提出的文本图像的拼接方法及系统，将拍摄的局部文本图像跟模板图像进行特征匹配，通过基于模板图像的特征匹配方法不仅能够提高匹配的速度而且保证匹配的准确性，让之后计算出来的透视变换矩阵更加准确。

主权项

1.一种文本图像的拼接方法，其特征在于，所述方法包括：步骤110，获取模板图像；步骤120，获取所有的文本局部图像；步骤130，将一幅还没有进行处理的局部图像与模板图像进行特征匹配，得到特征匹配点对；局部图像跟模板图像进行特征匹配的方法包括：步骤131，确定感兴趣的特征关键点；步骤132，提取关键点周围区域的特征向量描述子；步骤133，通过特征点的欧式距离来匹配各个特征向量描述子；步骤133中，匹配策略采用最近邻比例匹配：对于二幅图像的特征点匹配，要查找与第一幅图像中某个特征点的对应匹配点，则在第二幅图像中找出与该特征点欧式距离最近的二个特征点，如果最近点的距离d_nearst除以第二近点的距离d_second小于设定阈值，则认为该最近点为匹配点，否则不接收；步骤140，判断特征匹配是否成功；判断标准：匹配上的特征点对是否达到设定值；若低于设定值，无法计算图像之间的变化矩阵，则判断为失败，转到步骤190；若特征匹配对的点数达到或超过设定值，判断为成功，转到步骤150；步骤150，通过匹配的特征，计算对应局部图像与模板图像之间的透视变化矩阵，然后将局部图像按照变化矩阵，得到该局部图像变换后的图片；其中，根据匹配上的特征点对计算透视变换矩阵的方法包括：根据二幅图像的匹配上的特征点对，计算二幅文本图像所在平面之间的透视变化矩阵；设定src_points为模板文本图像中所在平面的匹配点坐标，大小为2xN，其中，N表示点的数目；设定dst_points为局部图像所在平面的匹配点坐标，大小为2xN；透视变化矩阵为3×3的矩阵，使得$s_i\left[\begin{array}{c}{x}_i^{\prime }\\ y_i^{\prime }\\ 1\end{array}\right]\approx H\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right];$其中，S_i为比例因子，H为透视变化矩阵，(x_i,y_i,1)为dst_points一个点的坐标，为src_point一个点的坐标；输出的3x3的透视变化矩阵，使得反投影错误最小，即下式最小：$\underset{i}{\Sigma }({(x_i^{\prime }-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2+{(y_i^{\prime }-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}})}^2);$将局部图像通过变换矩阵得到变换后的局部图像的方法包括：修改透视变化矩阵$\left[\begin{array}{c}{h}_{11},h_{12},h_{13}\\ h_{21},h_{22},h_{23}\\ h_{31},h_{32},h_{33}\end{array}\right];$第三行(h₃₁,h₃₂,h₃₃)是控制放大缩小的系数，为此将(h₃₁,h₃₂,h₃₃)变化成(h₃₁/scale,h₃₂/scale,h₃₃/scale)，scale为局部图像变化后相对于模板图像的放大系数；通过透视变化矩阵变换后得到的局部图像，分辨率是原模板图像的scale倍；此时按照修改后的透视变化矩阵，将局部图像都变换到同一坐标系下，而后进行下一步的拼接处理；步骤160，判断：是否所有局部图像都已处理完；如果答案为是，则转到步骤170，否则转到步骤130，处理下一幅局部图像；步骤170，将所有变化后的文本图像，根据其有效区域将其拼接起来，得到拼接全图；将所有变换后的局部图像进行拼接的方法包括：将需要拼接的局部图像变化到同一坐标系之后，进行图像的拼接；步骤180，对拼接得到的全图进行后处理；拼接全图的后处理步骤包括：如果所有局部图像拼接出来的全图，出现漏洞或者缺角时，此时可以将模板图像放大scale倍，然后直接用模板图像在该区域的像素填充缺失部分的区域，通过上述后处理，保证得到完整的图像；步骤190，结束。