一种图像的多特征提取与融合方法及系统

摘要

本发明提供一种图像的多特征提取与融合方法，包括以下步骤：从待匹配图像中提取颜色特征，与目标图像进行颜色匹配，确定颜色相似度，如果颜色相似度超过设定的颜色相似度阈值则进入下一步骤；从待匹配图像中提取辅助特征，与目标图像进行辅助特征匹配，确定辅助特征相似度，辅助特征包括纹理特征和形状特征中的至少一项；在颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待匹配图像与目标图像的综合相似度。也可从待匹配图像的匹配区域中提取辅助特征与目标图像进行匹配。本发明通过级联的方式，从粗到精逐步匹配，并可以精确确定目标图像和待匹配图像中的相似区域，达到了快速和高效准确匹配的效果，节省了人力物力。

主权项

一种图像的多特征提取与融合方法，其特征在于，包括以下步骤：S1.将待匹配图像划分为多块图像区域，从所述图像区域中提取颜色特征，与目标图像进行粗匹配，确定颜色相似度，找出所述待匹配图像中最相似的图像区域作为匹配区域，如果所述匹配区域的颜色相似度超过设定的颜色相似度阈值则进入下一步骤；S2.从所述匹配区域中提取辅助特征，与所述目标图像进行辅助特征匹配，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；S3.在所述颜色相似度和辅助特征相似度的基础上，进行颜色特征和纹理特征的融合判定，判断是否符合置信度要求，若符合，则给出综合置信度：如果所述纹理特征相似度大于设定的纹理特征相似度阈值，则所述综合置信度由纹理特征相似度决定或以纹理特征相似度为主；否则，综合置信度中颜色相似度所占的比重提高；其中，所述步骤S1中的粗匹配包括步骤：A1、对待匹配图像进行色彩空间转换和色彩分层计算；所述色彩分层计算包括：把色调H分成8份，饱和度S和亮度V分成3份，根据颜色空间以及人对颜色的主观感知特性进行量化分层，将颜色空间划分为72种颜色；公式如下：$H=\left\{\begin{array}{ccc}0& \mathrm{if}& h\in \left[\mathrm{316,20}\right]\\ 1& \mathrm{if}& h\in \left[\mathrm{21,40}\right]\\ 2& \mathrm{if}& h\in \left[\mathrm{41,75}\right]\\ 3& \mathrm{if}& h\in \left[\mathrm{76,155}\right]\\ 4& \mathrm{if}& h\in \left[\mathrm{156,190}\right]\\ 5& \mathrm{if}& h\in \left[\mathrm{191,270}\right]\\ 6& \mathrm{if}& h\in \left[\mathrm{271,195}\right]\\ 7& \mathrm{if}& h\in \left[\mathrm{296,315}\right]\end{array}\right.$$S=\left\{\begin{array}{ccc}0& \mathrm{if}& s\in \left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\in \left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& s\in \left[\mathrm{0.7,1}\right]\end{array}\right.$$V=\left\{\begin{array}{ccc}0& \mathrm{if}& v\in \left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& v\in \left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& v\in \left[\mathrm{0.7,1}\right]\end{array}\right.$A2、通过颜色直方图进行基于颜色的模板匹配来确定所述颜色相似度：对每一个划分的图像区域，根据分割得到的颜色区域，采用绝对值距离法计算样例颜色区域与待匹配图像的图像区域的相似性，设两个颜色区域分别为I、Q，用同心矩形划分方法对图像进行划分，得到一个n个同心矩形，根据分层得到的72维HSV直方图，对应部分的距离D_i为：$D_i=\underset{j=0}{\overset{71}{\Sigma }}\left(\right|h_i\left(j\right)-h_q\left(j\right)\left|\right)$其中，h_i(j)、h_q(j)分别对应颜色区域I、Q在第j维直方图的值，将相似度排序保存；所述步骤S2中进行辅助特征匹配时，包括步骤：B1、将彩色图像转换成灰度图像，对于灰度为N级的图像，共生矩阵为N*N维矩阵，即其中，位于(h,k)的元素m_hk的值表示相距(h,k)的灰度为h，而另一个灰度为k的像素对出现的次数；由纹理共生矩阵提取的四个特征量为：反差：$\mathrm{CON}=\underset{h}{\Sigma }\underset{k}{\Sigma }{(h-k)}^2{m}_{\mathrm{hk}}$能量：$\mathrm{ASM}=\underset{h}{\Sigma }\underset{k}{\Sigma }{\left(m_{\mathrm{hk}}\right)}^2$熵：$\mathrm{ENT}=-\underset{h}{\Sigma }\underset{k}{\Sigma }{m}_{\mathrm{hk}}\lg \left(m_{\mathrm{hk}}\right)$相关：$\mathrm{COR}=[\underset{h}{\Sigma }\underset{k}{\Sigma }{\mathrm{hkm}}_{\mathrm{hk}}-{\mu }_x{\mu }_y)]/{\sigma }_x{\sigma }_y$其中，是矩阵M中每列元素之和；是每行元素之和；μ_x、μ_y、σ_x、σ_y分别是m_x、m_y的均值和标准差；B2、利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间(DOG scale‑space)；D(x,y,σ)＝(G(x,y,kσ)‑G(x,y,σ))*I(x,y)其中G(x,y,σ)是尺度可变高斯函数,(x，y)是空间坐标，σ是尺度坐标；$G(x,y,\sigma )=\frac{1}{2\pi {\sigma }^2}{e}^{-(x^2+y^2)}/2{\sigma }^2$B3、将每一个采样点和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；B4、通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点；B5、利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$$\theta (x,y)=\sqrt{\alpha \tan 2((L(x,y+1)-L(x,y-1))/\left((L(x+1,y)-L(x-1,y))\right)}$上两式为(x,y)处梯度的模值和方向公式；其中L所用的尺度为每个关键点各自所在的尺度；B6、将坐标轴旋转为关键点的方向，以确保旋转不变性；B7、以关键点为中心取8×8的窗口，中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点；B8、对每个关键点使用4×4共16个种子点来描述，对一个关键点产生128个数据，最终形成128维的SIFT特征向量；B9、采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量；取样例图中的某个关键点，并找出其与匹配图中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于预设比例阈值，则接受这一对匹配点。