基于多特征融合的图像合成方法

摘要

本发明涉及一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其实现步骤是：首先划分数据库样本集；将所有的图像进行图像滤波后，对图像分块并提取图像块特征，得到训练画像块字典和照片块字典；利用这两个字典根据输入的测试照片块或测试画像块，寻找近邻块；建立马尔可夫网络模型得到待合成画像块或待合成照片块；对所有的待合成画像块或待合成照片块进行融合即可得到合成画像或合成照片。本发明与现有方法相比，合成结果具有更高的清晰度和更少的结构缺失，可用于人脸检索与识别。

主权项

一种基于多特征融合的图像合成方法，用于将照片合成为画像，或者将画像合成为照片，其特征在于：当需要将照片合成为画像时，包括如下步骤：(1a)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试照片P；(2a)、将训练照片样本集中的M张训练照片和测试照片P分别同时进行高斯差分滤波、中心‑周边归一化滤波和高斯滤波，分别得到M张训练照片进行高斯差分滤波后的M张第一类滤波照片，M张训练照片进行中心‑周边归一化滤波后的M张第二类滤波照片，M张训练照片进行高斯滤波后的M张第三类滤波照片，测试照片进行高斯差分滤波后的一张第四滤波照片，测试照片进行中心‑周边归一化滤波后的一张第五滤波照片，测试照片进行高斯滤波后的一张第六滤波照片；(3a)、将训练照片样本集中的M张训练照片、M张第一类滤波照片、M张第二类滤波照片和M张第三类滤波照片组合一个包含有4M张照片的照片集，将该照片集内的每张照片划分为N块大小相同、重叠程度相同的训练照片块，该训练照片块称为原始训练照片块，原始训练照片块的数目为4M*N；然后对每个原始训练照片块提取该原始训练照片块的SURF特征和LBP特征，原始训练照片块提取SURF特征后的照片称为第一类训练照片块，第一类训练照片块的数目也为4M*N张；原始训练照片块提取LBP特征后的照片称为第二类训练照片块，第二类训练照片块的数目也为4M*N张；将原始训练照片块、第一类训练照片块和第二类训练照片块组合在一起，从而得到4M*N*3即12*M*N张训练照片块，将这12*M*N张训练照片块组成训练照片块字典，用D_p表示；(4a)、将训练画像样本集中的M张画像分别划分为N块大小相同及重叠程度相同的训练画像块，从而得到M*N个训练图像块，将这M*N个训练图像块组成训练画像块字典，用D_s表示；(5a)、将测试照片和第四滤波照片、第五滤波照片、第六滤波照片这四张照片分别划分为N块大小相同及重叠程度相同的测试照片块，该测试照片块称为原始测试照片块，原始测试照片块的数目为4*N张；对每个原始测试照片块进行SURF特征和LBP特征提取，原始测试照片块提取SURF特征后的照片称为第一类测试照片块，第一类测试照片块的数目也为4*N张；原始测试照片块提取LBP特征后的照片称为第二类测试照片块，第二类测试照片块的数目也为4*N张；将原始测试照片块、第一类测试照片块和第二类测试照片块组合在一起，从而得到4*N*3即12*N张测试照片块，将这12*N张测试照片块组成测试照片块字典，用D_t表示；(6a)、将测试照片块字典D_t中的任一原始测试照片块及其对应的第一类测试照片块与第二类测试照片块按列组合成一个向量，那么从测试照片块字典D_t中能得到N个这样的向量，将从测试照片块字典D_t中得到N个向量称为原始测试照片块向量字典D_tv；同时，将训练照片块字典D_p中的任一原始训练照片块及其对应的第一类训练照片块和第二类训练照片块按列组合在一起形成一个向量，那么从训练照片块字典D_p中可以得到M*N个向量，将从训练照片块字典D_p中得到的M*N个向量称为原始训练照片块向量字典D_pv；(7a)、对于原始测试照片块向量字典D_tv中的任一向量，计算其与原始训练照片块向量字典D_pv中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练照片块向量字典D_pv中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练照片块、第一类训练照片块和第二类训练照片块，将得到的K张原始训练照片块称为第一类候选照片块，而将与K张原始训练照片块对应的K张原始训练画像块，称为候选画像块；将得到的K张第一类训练照片块称为第二类候选照片块，将得到的K张第二类训练照片块称为第三类候选照片块；(8a)、利用第一类候选照片块、第二类候选照片块、第三类候选照片块、候选画像块、原始测试照片块、第一类测试照片块和第二类测试照片块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选照片块、第二类候选照片块、和第三类候选照片块的权值μ1、μ2、μ3，同时得到候选画像块的权值w；(9a)、将步骤(7a)得到的候选画像块和步骤(8a)得到的权值w相乘得到合成画像块；(10a)、重复执行步骤(8a)‑(9a)，直至得到N块合成画像块，最后将得到的N块合成画像块进行组合得到原始测试照片P对应的合成画像；当需要将画像合成为照片时，包括如下步骤：(1b)、抽选M对训练画像与该训练画像对应的训练照片作为训练基础，将M张训练画像作为训练画像样本集，将与上述M张训练画像对应的M张训练照片作为训练照片样本集，同时另外选取一张测试画像S；(2b)、将训练画像样本集中的M张训练画像和测试画像S分别同时进行高斯差分滤波、中心‑周边归一化滤波和高斯滤波，分别得到M张训练画像进行高斯差分滤波后的M张第一类滤波画像，M张训练画像进行中心‑周边归一化滤波后的M张第二类滤波画像，M张训练画像进行高斯滤波后的M张第三类滤波画像，测试画像进行高斯差分滤波后的一张第四滤波画像，测试画像进行中心‑周边归一化滤波后的一张第五滤波画像，测试画像进行高斯滤波后的一张第六滤波画像；(3b)、将训练画像样本集中的M张训练画像、M张第一类滤波画像、M张第二类滤波画像和M张第三类滤波画像组合一个包含有4M张画像的画像集，将该画像集内的每张画像划分为N块大小相同、重叠程度相同的训练画像块，该训练画像块称为原始训练画像块，原始训练画像块的数目为4M*N；然后对每个原始训练画像块提取该原始训练画像块的SURF特征和LBP特征，原始训练画像块提取SURF特征后的画像称为第一类训练画像块，第一类训练画像块的数目也为4M*N张；原始训练画像块提取LBP特征后的画像称为第二类训练画像块，第二类训练画像块的数目也为4M*N张；将原始训练画像块、第一类训练画像块和第二类训练画像块组合在一起，从而得到4M*N*3即12*M*N张训练画像块，将这12*M*N张训练画像块组成训练画像块字典，用D_s’表示；(4b)、将训练照片样本集中的M张照片分别划分为N块大小相同及重叠程度相同的训练照片块，从而得到M*N个训练照片块，将这M*N个训练照片块组成训练照片块字典，用D_p’表示；(5b)、将测试画像和第四滤波画像、第五滤波画像、第六滤波画像这四张画像分别划分为N块大小相同及重叠程度相同的测试画像块，该测试画像块称为原始测试画像块，原始测试画像块的数目为4*N张；对每个原始测试画像块进行SURF特征和LBP特征提取，原始测试画像块提取SURF特征后的画像称为第一类测试画像块，第一类测试画像块的数目也为4*N张；原始测试画像块提取LBP特征后的画像称为第二类测试画像块，第二类测试画像块的数目也为4*N张；将原始测试画像块、第一类测试画像块和第二类测试画像块组合在一起，从而得到4*N*3即12*N张测试画像块，将这12*N张测试画像块组成测试画像块字典，用D_t’表示；(6b)、将测试画像块字典D_t’中的任一原始测试画像块及其对应的第一类测试画像块与第二类测试画像块按列组合成一个向量，那么从测试画像块字典D_t’中能得到N个这样的向量，将从测试画像块字典D_t’中得到N个向量称为原始测试画像块向量字典D_tv’；同时，将训练画像块字典D_s’中的任一原始训练画像块及其对应的第一类训练画像块和第二类训练画像块按列组合在一起形成一个向量，那么从训练画像块字典D_s’中可以得到M*N个向量，将从训练画像块字典D_s’中得到的M*N个向量称为原始训练画像块向量字典D_sv’；(7b)、对于原始训练画像块向量字典D_tv’中的任一向量，计算其与原始训练画像块向量字典D_sv’中每个向量的欧氏距离，从而得到M*N个距离值，从中选择出K个最小的距离值，选出这K个最小距离值在原始训练画像块向量字典D_sv’中对应的K个向量；同时，进一步分别得到这K个向量中每个向量的原始训练画像块、第一类训练画像块和第二类训练画像块，将得到的K张原始训练画像块称为第一类候选画像块，而将与K张原始训练画像块对应的K张原始训练照片块，称为候选照片块；将得到的K张第一类训练画像块称为第二类候选画像块，将得到的K张第二类训练画像块称为第三类候选画像块；(8b)、利用第一类候选画像块、第二类候选画像块、第三类候选画像块、候选照片块、原始测试画像块、第一类测试画像块和第二类测试画像块，通过交替迭代的方法求解马尔可夫网络模型，分别得到第一类候选画像块、第二类候选画像块、和第三类候选画像块的权值μ1’、μ2’、μ3’，同时得到候选照片块的权值w’；(9b)、将步骤(7b)得到的候选照片块和步骤(8b)得到的权值w’相乘得到合成照片块；(10b)、重复执行步骤(8b)‑(9b)，直至得到N块合成照片块，最后将得到的N块合成照片块进行组合得到原始测试画像S对应的合成照片。