基于对称样本块的图像修复方法

摘要

一种基于对称样本块的图像修复方法；过程包括对原破损图像的预处理、破损区域的分割和破损区域修复。对原破损图像进行预处理包括：对图像进行高斯平滑、图像灰度化处理；而后进入破损区域分割与破损区域修复；破损区域修复是一个反复循环的过程，包括获得破损区域的边界点、获取破损区域边界上优先权最高的点和最先修复的破损块，以及选择搜索最佳对称样本块方法；选择搜索最佳对称样本块方法包括任意方向搜索对称样本块或者八方向寻找对称样本块两种方法，两种方法都包括更新破损块的像素、更新破损区域的面积和判断破损区域的面积是否为零，是，修复结束；否，回到获得破损区域的边界点重复循环。修复实验说明了本发明方法的有效性。

主权项

一种基于对称样本块的图像修复方法，其特征在于包括对原破损图像进行预处理、破损区域分割与破损区域修复，具体步骤如下：a.对原破损图像进行预处理a.1对图像进行高斯平滑用如下5×5或3×3的高斯平滑模板掩模图像：$\begin{array}{cc}\frac{1}{273}\times \left[\begin{array}{ccccc}1& 4& 7& 4& 1\\ 4& 16& 26& 16& 4\\ 7& 26& 41& 26& 7\\ 4& 16& 26& 16& 4\\ 1& 4& 7& 4& 1\end{array}\right]& \frac{1}{16}\times \left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]\end{array}$a.2图像灰度化处理采用平均值法将彩色图像灰度化，即求出图像每个像素点的R、G、B三个分量像素值的平均值，并生成其灰度图像；b.破损区域分割采用区域增长的分割方法，其过程为：b.1.采用人机交互的方法，在被修复图像的破损区内任意选取一点作为种子点坐标(x_r,y_r)，并在灰度图像上记录下其像素值p_r(x_r,y_r)；b.2.创建与原图同样大小的一个二值模板图像mask，将模板图像mask中像素值p_r(x_r,y_r)设为1，其余像素设置为0；b.3.在灰度图像上通过算法1，得出模板图像mask里像素值为1的点集合，就对应原图像的破损区域，也就是分割出了原图像的破损区域；算法1包括步骤：(1)创建一个堆栈；(2)获取种子点(x_r,y_r)及其像素值p_r(x_r,y_r)；(3)以种子点(x_r,y_r)为中心，计算其像素值p_r(x_r,y_r)与八邻域像素值p_i(x_i,y_i)之差，如果|p_r(x_r,y_r)‑p_i(x_i,y_i)|＜M，(i＝1,2,3,4,5,6,7,8)，M的取值根据实验确定，一般取10，并且mask相对应位置上像素值为0时，则将点(x_i,y_i)压入堆栈，mask相应位置上的像素值设为1；(4)判断堆栈是否为空，如果不为空则从堆栈中取出一个像素，把它当作点(x_r,y_r)，转回步骤(3)，否则转向步骤(5)；(5)结束；c.破损区域修复c.1获得破损区域的边界点c.1.1创建一个队列，用来存储破损区域边界点；c.1.2获得破损区域边界点：对二值模板图像mask，其中像素值为1的区域为原图破损区域，遍历整幅mask图像，如果像素点的像素值为1，并且它八个相邻像素值至少有一个是0，就将像素值为1的像素点存入队列中，最后得到的队列就是破损区域的边界点；c.2获取破损区域边界上优先权最高的点和最先修复的破损块Ι代表全图，Ω表示破损区域，δΩ表示破损区域Ω的边界，Φ表示图像未破损的部分，p表示破损区域边界δΩ上的点，n_p是点p处的单位法向量，表示p点的等照线方向，Ψ_p是边界上以p点为中心、包含了Ω内的点和Φ内点的破损块；破损区域边界上优先权最高的点和以该点为中心的最先修复破损块计算过程如下：c.2.1计算边界上点p的优先权，由式(1)计算，P(p)＝C(p)D(p)  (1)式(1)中：C(p)表示p点的置信因子，D(p)表示p点的数据因子，C(p)由式(2)计算，$C\left(p\right)=\frac{{\Sigma }_{q\in {\Psi }_p\cap (I-\Omega )}C\left(q\right)}{\left|{\Psi }_p\right|}---\left(2\right)$式(2)中：|Ψ_p|是Ψ_p的面积，图像中所有点的置信因子按照式(3)初始化，$C\left(k\right)=\left\{\begin{array}{cc}0& \forall k\in \Omega \\ 1& \forall k\in I-\Omega \end{array}\right.---\left(3\right)$式(1)中D(p)通过式(4)计算，$D\left(p\right)=\frac{|{▿I}_p^{\perp }·n_p|}{\alpha }---\left(4\right)$其中α是归一化因子，是图像灰度级的最大值；c.2.2计算边界上所有点的优先权，并比较值的大小从而获得优先权最高的点，记为p₀；c.2.3获取以p₀为中心的最先修复的块这个块的大小根据破损区域周围的纹理结构，选择与纹理结构大小相当的块，采用人机交互的方式，块的边长是3到99之间的奇数，即3×3到99×99大小的块；而后进入步骤c.3；如果图像具有左右、上下、右上与左下、左上与右下的八方向对称的情况之一，选择基于八方向的对称样本块修复方法，否则选择在任意方向搜索对称样本块的修复方法；c.3在任意方向搜索最佳对称样本块或者在八方向寻找最佳对称样本块的图像修复c.3.1在任意方向寻找最佳对称样本块c.3.1.1在I‑Ω中以任意点p₁为中心的样本块的选取p₀是最先修复块的中心点，p₁是待寻找样本块的中心点，获得p₁和p₀连线与水平方向夹角θ，利用式(5)获得p₁旋转到与p₀同一水平线位置上p₂的坐标：$\left\{\begin{array}{c}{x}_2=(x_1-x_0)\cos \theta +(y_1-y_0)\sin \theta +x_0\\ y_2=-(x_1-x_0)\sin \theta +(y_1-y_0)\cos \theta +y_0\end{array}\right.---\left(5\right)$式(5)中：x₀、x₁和x₂分别是p₀、p₁和p₂的横坐标，y₀、y₁和y₂分别是p₀、p₁和p₂的纵坐标；获得以p₂为中心、大小与相同并与成水平对称的样本块以3×3为例，破损块与样本块的对应关系如图4与图5所示，图4是破损块图5表示的水平对称样本块其中数字表示两个块对称位置；再利用式(6)获得样本块反方向旋转θ角的位置：$\left\{\begin{array}{c}x\text{'}=(x-x_0)\cos \theta -(y-y_0)\sin \theta +x_0\\ y\text{'}=(x-x_0)\sin \theta +(y-y_0)\cos \theta +y_0\end{array}\right.---\left(6\right)$式(6)中：(x,y)表示反向旋转之前中任意点的坐标，(x’,y’)表示旋转θ角后的中对应点的坐标；旋转后，与点的对应关系和与的对应关系相同，即得到以p₁为中心的对称样本块；c.3.1.2在I‑Ω搜索的最佳对称样本块，由式(7)计算，$\Psi \hat{p}=\arg \underset{p_1\in I-\Omega }{\min }d(\Psi p_0,\Psi p_1)---\left(7\right)$式(7)中：表示最佳对称样本块，是以p₁为中心的样本块，表示最先待修复块与对称样本块之间的相似性度量，用式(8)计算，$d(\Psi p_0,\Psi p_1)=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{i(m-j+1)})}^2}---\left(8\right)$式(8)中：x_ij表示中点的像素值，y_ij表示中点的像素值，块的大小决定m的值，若选择块的大小为3×3，则m的值为3；c.3.1.3破损块的更新c.3.1.3.1按照图4与图5中的对应关系，将破损块中的破损像素值用最佳对称样本块中的对应像素值替换；c.3.1.3.2更新上一步填充像素点的置信因子，由式(9)计算，$\begin{array}{cc}C\left(p\right)=C\left(\hat{p}\right)& \forall p\in \Psi \hat{p}\cap \Omega \end{array}---\left(9\right)$同时将原破损图像填充点位置上mask里对应点的像素值更新为0；c.3.1.4更新破损区域的面积，即计算填充后破损区域内的像素数每填充一次后要重新计算破损区域的面积，即统计填充后破损区域的像素个数，以便判断修复过程是否结束；如果破损区域面积为零则修复完成，否则重复做步骤c.1、步骤c.2和步骤c.3.1；c.3.2在八方向寻找最佳对称样本块八个箭头表示以p为中心的破损块Ψ_p的八个方向，从这八个方向寻找对称样本块，每个方向都找出一个对称相似样本块，再从其中找出最佳的对称样本块，Ψ_q是Ψ_p的最佳对称样本块；计算步骤如下：c.3.2.1在八个方向寻找相似对称样本块从八个方向找到对称相似样本块由式(10)计算：$\begin{array}{cc}\Psi {\hat{q}}_i=\arg \min d_i(\mathrm{\Psi p},\Psi q_i)& (i=\mathrm{1,2,3,4,5,6,7,8})\end{array}---\left(10\right)$式(10)中：表示Ψ_p和的相似度量，下标1、2、3、4、5、6、7和8分别表示左、左上、上、右上、右、右下、下、左下方向；1、2、3和4四个方向的对称相似度量用式(11)计算，5、6、7和8四个方向的对称相似度量用式(12)计算：$\left\{\begin{array}{c}{d}_1(\mathrm{\Psi p},\Psi q_1=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{i(m-j+1)})}^2})\\ d_2(\mathrm{\Psi p},\Psi q_2)=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{(m-j+1)(m-i+1)})}^2}\\ d_3(\mathrm{\Psi p},\Psi q_3)=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{(m-i+1)j})}^2}\\ d_4(\mathrm{\Psi p},\Psi q_4)=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{\mathrm{ij}})}^2}\end{array}\right.---\left(11\right)$$\left\{\begin{array}{c}{d}_5(\mathrm{\Psi p},\Psi q_5=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{i(m-j+1)})}^2})\\ d_6(\mathrm{\Psi p},\Psi q_6)=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{(m-j+1)(m-i+1)})}^2}\\ d_7(\mathrm{\Psi p},\Psi q_7)=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{(m-i+1)j})}^2}\\ d_8(\mathrm{\Psi p},\Psi q_8)=\sqrt{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{m}{\Sigma }}{(x_{\mathrm{ij}}-y_{\mathrm{ij}})}^2}\end{array}\right.---\left(12\right)$式(11)、(12)中：x_ij表示Ψ_p中点的像素值，y_ij表示中点的像素值；c.3.2.2最佳对称样本块的计算从八个对称相似样本块中寻找最佳相似对称样本块，根据式(13)计算：$\begin{array}{cc}\mathrm{\Psi q}=\arg \min d_i(\mathrm{\Psi p},\Psi {\hat{q}}_i)& (i=\mathrm{1,2,3,4,5,6,7,8})\end{array}---\left(13\right)$c.3.2.3更新破损块的破损像素c.3.2.3.1按照下述的规则用Ψ_q中的像素值更新Ψ_p中破损像素点，当像素点在Ψ_p中的扫描顺序是从左到右、从上到下时，相对应的Ψ_q中的扫描顺序为：当最佳对称样本块所在的方向是1或5时，则最佳对称样本块内像素点扫描顺序是从右到左、从上到下；当最佳对称样本块所在的方向是2或6时，则最佳对称样本块内像素点扫描顺序是从下到上、从右到左；当最佳对称样本块所在的方向是3或7时，则最佳对称样本块内像素点扫描顺序是从左到右、从下到上；当最佳对称样本块所在的方向是4或8时，则最佳对称样本块内像素点扫描顺序是从上到下、从左到右；并将Ψ_p中破损像素点用Ψ_q中对应的像素值填充；以块大小3×3为例，最佳样本块在左方向时，图7描述了破损块像素更新的过程，其中a表示破损块Ψ_p，b表示最佳对称样本块Ψ_q，a、b中的数字表示扫描顺序，数字相同表示相对应的像素点，如果Ψ_p中4属于破损像素，就用Ψ_q中位置4的像素值填充；c.3.2.3.2更新上一步填充像素点的置信因子，由式(9)计算；同时将图像填充点位置上mask里对应点的像素值更新为0；c.3.2.4更新破损区域的面积，如果破损区域面积为零则修复完成，否则重复做步骤c.1、步骤c.2和步骤c.3.2。