字符图像的识别和翻译方法以及装置

摘要

一种对图像或视频中的字符进行识别和翻译的方法和装置，所述方法包括步骤：获取包含一个或多个第一语言字符的图像或视频；从图像或者视频中检测每个第一语言字符的字符区域；对每个字符区域中的字符进行识别；将由识别出的字符构成的词条划分为多个预定类别之一，并采用与所划分的类别相对应的翻译规则，将词条翻译为第二或更多其他语言；以及显示翻译结果。采用本发明，能够方便快捷地通过移动终端自动识别和翻译自然场景图像或视频中的关键字符，比如路牌、广告、公告、菜单等中的相关说明。

主权项

一种对图像或视频中的字符进行识别和翻译的方法，包括步骤：a.获取包含一个或多个第一语言字符的图像或视频；b.从图像或者视频中检测每个第一语言字符的字符区域；c.对每个字符区域中的字符进行识别；d.将由识别出的字符构成的词条划分为多个预定类别之一，并采用与所划分的类别相对应的包含在翻译词典中的翻译规则，将词条翻译为第二或更多其他语言；以及e.显示翻译结果；其中，所述翻译词典还包括与第一语言的多个词条中的部分或全部相关的图像，所述步骤d还包括：对非字符区域进行图像比较处理，并合并对字符区域的翻译结果和对非字符区域的翻译结果；其中，在步骤c与步骤d之间还包括步骤：对检测到的字符区域进行版面分析，以将表示不同类型的信息的字符区域合并为不同的文本区域，其中所述版面分析包括：计算字符区域之间的距离和相似度，并将距离近且相似程度高的字符合并在一起，其中如果两个字符区域的中心之间的距离小于第一阈值，则两个字符区域的距离近，第一阈值是通过计算并统计每个字符区域与距离其最近的字符区域的中心距离而得到的距离直方图的峰值；如果两个字符区域的图像特征差异小于第二阈值，则两个字符区域的相似程度高，第二阈值是通过计算并统计每对距离近的字符区域之间的图像特征差异而得到的差异直方图的峰值；以及对每个文本区域进行内容分析，以确定感兴趣的文本区域。