结合破损块形状和邻域分类的唐卡图像修复方法

摘要

结合破损块形状和邻域分类的唐卡图像修复方法，根据破损块形状、破损块邻域的信息以及现有的修复算法特点等，自动选择合适的算法修复破损唐卡图像。主要包括：首先使用分水岭方法分割待修复图像，对破损区域中各个破损块的形状分为线状和块状，实现破损块形状分类；采用灰度共生矩阵提取邻域块的二阶统计信息，通过灰度共生矩阵提取反应纹理的各种特征，并对特征进行高斯归一化，采用现有的K近邻法将邻域块分为纹理块和非纹理块，实现破损块邻域的分类；结合修复算法的特点、破损块的形状和破损块邻域的类型制定算法的选择规则，实现破损区域的自动修复。本发明适用于修复各类线状、块状，以及各类破损邻域的唐卡数字图像，修复速度快、效率高。

主权项

1.一种结合破损块形状和邻域分类的唐卡图像修复方法，其特征是：根据破损块形状、破损块邻域的信息以及现有的修复算法特点等，自动选择合适的算法修复破损唐卡图像；主要包括：第一，对破损块形状分类；首先使用现有的分水岭方法分割待修复图像，并对破损区域中各个破损块的形状分为线状和块状，实现破损块形状分类；第二，对破损块的邻域分类；采用灰度共生矩阵提取邻域块的二阶统计信息，通过灰度共生矩阵提取反应纹理的各种特征，并对特征进行高斯归一化，采用现有的K近邻法将邻域块分为纹理块和非纹理块，实现破损块邻域的分类；第三，对破损块修复；结合修复算法的特点、破损块的形状和破损块邻域的类型制定算法的选择规则，实现破损区域的自动修复，具体步骤如下：a. 对破损块形状分类通过分水岭分割方法和区域合并，将破损区域分割出来；其中分水岭图像分割分为排序过程和浸水过程；a.1 分水岭图像分割分水岭图像分割分为两个步骤：排序过程和浸水过程；排序过程和浸水过程是在梯度图像上进行的，对梯度图像每个像素点的值按照由低到高的顺序排序，灰度值为h的像素点划分为一层,称 h阶高度，其中 h在0到255之间，具体过程分为以下四步：a.1.1 计算原图像的梯度图像；a.1.2 计算梯度图像的累积直方图；a.1.3 根据累积直方图对梯度图像的像素值进行由低到高的排序；a.1.4 从低到高实现浸水过程，对每一个局部极小值在h阶高度的影响域采用先进先出结构进行判断及标注；a.2 区域合并排水和浸水过程形成了初始的分割区域，再将小区域合并到与其空间相邻颜色相近的区域，然后根据颜色信息和空间信息合并到颜色相近、空间相邻的区域； a.2.1 小区域的合并a.2.1.1 将原图像从RGB空间转换到LUV空间；a.2.1.2 计算初始分割区域的LUV均值；a.2.1.3 获取各个分割区域的邻域；a.2.1.4 把小区域合并到与其空间相邻、颜色相近的区域；a.2.1.5 更新各个小区域的LUV均值和邻域信息，直至分割区域中不存在面积小于阈值的小区域；a.2.2 颜色相近、空间相邻区域的合并a.2.2.1 在LUV空间计算每一个小区域与其邻域的平方误差；a.2.2.2 判断平方误差中是否存在小于阈值的邻域，如果存在，则将当前小区域合并到平方误差最小的区域，并更新各个区域的LUV均值和邻域信息；否则不做任何操作；a.2.2.3 反复进行合并操作，直至没有可合并的区域；a.3 破损块形状分类a.3.1 获取破损块通过破损区域分割，就可以得到一幅图像的掩膜图像，其中破损区域每个像素点用1表示，非破损区域每个像素点用0表示；通过区域生长来获取破损块，具体获取算法如下：a.3.1.1 沿扫描线方向扫描掩膜图像，初始化破损块标记；a.3.1.2 若像素点的值为1，则该点入队列并将该点值更新为；a.3.1.3弹出队列首元素，进行四邻域或八邻域区域生长，如果邻域像素点值为1，则入队列，同样将其值更新为，否则不做处理，直到队列为空；a.3.1.4的值加1，重复a.3.1.2、a.3.1.3直到扫描完整幅图像为止；通过上述过程得到了破损块标记的图像，即掩膜图像中像素值为1、像素值为2、…、像素值为k的像素点的集合为破损块；a.3.2 提取破损块形状特征a.3.2.1统计沿水平扫描线方向破损块的最大连续宽度像素点的数量, 获得破损块的最大宽度；a.3.2.2 统计沿扫描线垂直方向破损块的最大连续高度像素点的数量，获得破损块的最大高度；破损块面积是破损块中破损像素点的数量；a.3.3 破损块形状分类  本发明采用线性分类器对破损块进行分类，线性分类器如式(1)所示，式(1)：式中：表示破损块的最大宽度，表示破损块的最大高度，表示取和两者中的较小的一个，是非纹理结构的方法能够修复破损块的最大宽度；当时表示破损块为线状；当时表示破损块为块状；b．破损块的邻域分类图像分割能将图像划分为互不相交的区域,如果要对破损块的邻域分类，就必须获取这些邻域的纹理信息，破损块邻域有下述状况：破损块周围都是纹理区域；破损块周围都是非纹理区域；破损块周围是混合区域，也就是既有纹理区域又有非纹理区域；b.1 破损块的邻域获取方法b.1.1 获取分割后标记图像中破损块的外边缘标记,外边缘为非破损像素点，内边缘为破损像素点；b.1.2 剔除重复的边缘标记，剩余的标记个数即破损块的邻域块数量；剔除破损块标记的方法如下：b.1.2.1 根据破损块标记图像的待修复破损块，找到分割图像的对应区域；b.1.2.2 统计分割图像对应区域的各个标记数量，找出数量最多的标记，数量最多的标记被默认为分割图像的破损块标记；b.1.2.3 判断该标记是否存在于破损块边缘标记中，如果存在于破损块边缘标记中，则删除；否则不做任何处理；b.1.3 以剩余标记为种子标记，使用区域生长法获取破损块在标记图像中的邻域块；b.2 提取邻域块特征 目前的图像修复算法分为纹理结构的修复算法和非纹理结构的修复算法；因此把破损块邻域分为：纹理块和非纹理块，以选取相应的算法修复破损图像；b.2.1 提取纹理特征使用灰度共生矩阵的方法提取图像的二阶统计信息，进而提取图像的纹理特征；b.2.1.1 灰度共生矩阵设为一幅二维数字图像，灰度级别为,则满足一定空间关系的灰度共生矩阵大小为，数学定义如式(2)所示，式(2)：其中，符号前加#号表示满足某种条件的像素点频数,和分别表示像素点的空间坐标；符号表示属于,表示具有某种空间关系的像素对集合；和分别表示像素点的灰度值；把角二阶矩、对比度、相关性、熵和逆差矩作为纹理特性，具体计算方法如下：b.2.1.2 角二阶矩角二阶矩的计算如式(3)所示，式(3)：；反映了图像局部均匀性，该值越大，表明纹理图像越均匀；否则表明图像有很多过渡灰度级；b.2.1.3 对比度   对比度的计算如式(4)所示，式(4)：；反映图像的局部变化量，对于粗纹理，的值较小；而对细纹理，的值较大；对于均匀图像，的值为0；b.2.1.4 相关性  相关性的计算如式(5)所示，式(5)：；其中、、、；是灰度共生矩阵中行和列之间相似程度的度量，反映灰度的线性依赖关系；b.2.1.5 熵   熵的计算如式(6)所示，式(6)：；反映纹理的复杂程度，越复杂其纹理熵越高,否则倾向于低熵；b.2.1.6 逆差矩逆差矩的计算如式(7)所示，式(7)：；是灰度共生矩阵对比度的逆，测量图像的局部一致性；如果图像接近均匀，逆差矩趋向于1；分别计算四个方向：0度、45度、90度和135度上灰度共生矩阵的上述角二阶矩、对比度、相关性、熵和逆差矩五个纹理特性度量值，然后取其期望和方差作为最终特征值； b.3 特征归一化    特征归一化按高斯归一化公式如式（8）所示：式（8）：；它能够将特征归一化到区间;b.4 破损块邻域分类  以邻域块的特征提取为基础，进行破损块邻域分类；本发明采用K近邻法对邻域进行分类；设有M个训练样本，其中N₁个属于纹理类，个属于非纹理类；现有一个未知类别的样本，要判断它所属的类别；用K近邻法就是计算该样本特征与M个训练样本特征之间的距离，并将距离从小到大排序，然后取其中较小的K个，K为奇数，最后根据这K个训练样本的类别标记进行投票，得到未知样本的类别标记；投票方法是：如果这K个训练样本中类的数量多则属于，类的数量多则属于；取；c. 修复破损块c.1 建立算法库    将现有的基于样本块的图像修复算法命为算法1，基于样本的纹理合成算法命为算法2，Oliveira模型表示的算法命为算法3，CDD模型或TV模型的算法命为算法4，将4个算法作为破损块的修复算法序列；c.2 根据破损块形状和破损块分类选择算法并进行修复c.2.1 根据破数块邻域的破损块分类同质非纹理破损块的定义：如果破损块的邻域块只有1个且为非纹理邻域块，则破损块中不存在边缘，称这种破损类型为同质非纹理破损； 异质非纹理破损块的定义：如果破损块的邻域块多于1个，且都为非纹理邻域块，则破损块中存在边缘，称这种破损类型为异质非纹理破损；混合型破损块的定义：如果破损块的邻域块多于1个，且同时存在非纹理块和纹理破损块，则破损块中存在边缘，称这种破损类型为混合型破损；同质纹理破损块的定义：如果破损块的邻域块只有1个且为纹理块，则破损块中不存在边缘，称这种破损类型为同质纹理破损；异质纹理破损块的定义：如果破损块的邻域块多于1个，且都为纹理块，则破损块中存在边缘，称这种破损类型为异质纹理破损；c.2.2 算法选择与修复根据破损块数量重复进行以下步骤：c.2.2.1 破损块为线状若破损块邻域为异质纹理破损或混合性破损，选择算法1进行修复；若破损块邻域为同质纹理破损，选择算法2进行修复；若破损块邻域为同质非纹理破损，选择算法3进行修复；若破损块邻域为异质非纹理破损，选择算法4进行修复；c.2.2.2 破损块为块状若破损块邻域为异质纹理破损、混合性破损或异质非纹理破损，选择算法1进行修复；若破损块邻域为同质纹理破损或同质非纹理破损，选择算法2进行修复； 当标记破损块数量的数值小于或者等于零时，整个修复过程结束。