一种自然场景文字检测方法及系统

摘要

本发明公开了一种自然场景文字检测方法及系统，属于模式识别技术领域。本发明首先对图像进行二值化处理以获取文字初步候选区域，然后基于判决规则和置信度图像建立两层滤波机制以剔除伪文字区域。为弥补前期处理所可能导致的文字丢失问题，将已获得的文字候选区域形成种子区域，然后在其邻近区域根据上下文信息恢复已丢失的文字候选区域。将沿水平方向排列的相邻的文字区域形成文字行并采用分类器进行判决以剔除伪文字行。最后，将文字行中的文字以单词为单元分割开来。本发明根据上下文信息有效地对复杂自然场景中的文字进行提取，对加快实现自然场景理解与分析的自动化、智能化具有很高的实用价值。

主权项

一种自然场景文字检测方法，其特征在于，包括以下步骤：(1)将输入的自然场景彩色图像转换为灰度图像；(2)对所述灰度图像进行中值滤波，得到中值滤波后灰度图像；(3)对所述中值滤波后灰度图像进行二值化处理得到二值图像，对所述二值图像中的所有连通分量进行标记，并将各连通区域作为文字初步候选区域，其中所述连通区域为各连通分量最小外接矩形所包含的区域；(4)根据所述自然场景彩色图像中文字的先验知识设置剔除判决条件，分别判断每个文字初步候选区域是否符合所述剔除判决条件，是则作为文字候选区域保留，否则作为伪文字区域剔除；(5)分别计算每一文字候选区域的文字相似度，同时计算所述文字候选区域所对应的连通分量与其水平方向的相邻连通分量的高度相似度、笔画宽度相似度，以及所述文字候选区域所对应的连通分量所对应的所述自然场景彩色图像部分与所述水平方向的相邻连通分量所对应的所述自然场景彩色图像部分的颜色相似度，对所述四个相似度值加权计算以获得该文字候选区域的置信度，分别用各文字候选区域的所述置信度表示其前景像素值，从而形成置信度图像，对所述置信度图像中的每一文字候选区域判断其所述置信度是否小于设定的置信度阈值，是则判定对应的文字候选区域为所述伪文字区域并剔除，否则作为所述文字候选区域保留；(6)将经过所述步骤(3)～(5)处理后保留的所有文字候选区域判断为文字区域，并形成种子区域，根据上下文信息设置的恢复判决条件，恢复经所述步骤(3)～(5)处理后丢失的文字候选区域；(7)对经所述步骤(3)～(6)处理后保留下来的所有文字候选区域所对应的连通分量进行形态学闭处理，从而获取多个文字行候选区域；(8)利用卷积神经网络训练好的分类器对所述步骤(7)获得的每一文字行候选区域进行识别，并获得各文字行候选区域的置信度，判断所述文字行候选区域的置信度是否小于所设定的文字行置信度阈值，是则将所述文字行候选区域判定为伪文字行区域并剔除，否则作为文字行区域并保留；(9)对经所述步骤(8)处理后所得到的所述文字行区域中的文字间距进行统计，若相邻文字间距大于单词间距分割阈值，则表明所述相邻文字分别归属不同的单词，将所述相邻文字分割开以实现所述文字行区域中以单词为单元的文字分割。