数据重排序方法和系统

摘要

一种数据重排序方法，首先根据数据集合建立节点集合，得到数据集合中每个数据与节点集合中节点的映射关系，获取节点集合中各节点的第一节点值，将第一节点值小于或等于第一预设值的节点对应的数据作为噪声去除，对数据集合进行全局去噪，提高数据检索精度。提取去噪数据集合中标定数据对应的标定正样本作为查询样本集合，获取查询样本集合中各标定正样本的第二节点值，提取去噪数据集合中对应标定正样本的第二节点值大于或等于第二预设值的标定数据，得到主导数据类，将主导数据类中的数据作为最终的标定数据对去噪数据集合进行重排序，提高了标定数据的准确度，进一步提高数据的检索精度。此外，本发明还提供一种数据重排序系统。

主权项

一种数据重排序方法，其特征在于，包括以下步骤：获取数据集合，所述数据集合中包含多个标定数据；根据数据特征建立节点集合，得到所述数据集合中的数据与所述节点集合中节点的映射关系，所述节点集合包含与所述标定数据对应的标定正样本；获取所述节点集合中各节点的第一节点值，所述第一节点值表示节点是实际正样本的概率，去除所述数据集合中对应节点的第一节点值小于或等于第一预设值的数据，得到去噪数据集合；提取所述去噪数据集合中标定数据对应的标定正样本建立查询样本集合；获取所述查询样本集合中各标定正样本的第二节点值，所述第二节点值表示标定正样本是实际正样本的概率，提取所述去噪数据集合中对应标定正样本的第二节点值大于或等于第二预设值的标定数据，得到主导数据类；根据所述主导数据类对所述去噪数据集合进行重排序；所述根据数据特征建立节点集合，得到所述数据集合中的数据与所述节点集合中节点的映射关系，所述节点集合包含与所述标定数据对应的标定正样本的步骤具体包括：获取所述数据集合中每个数据的多个特征值，多个所述特征值构成所述数据特征；构建每个数据对应的节点，所述节点为多维向量且所述节点的一个维度表示一种所述特征值；根据所述节点建立所述节点集合；具体为：χ＝{x₁,…,x_m,x_m+1,…,x_n}其中，χ为所述节点集合，x₁,…,x_m为所述标定正样本，与所述标定数据对应；所述获取所述节点集合中各节点的第一节点值，所述第一节点值表示节点是实际正样本的概率，去除所述数据集合中对应节点的第一节点值小于或等于第一预设值的数据，得到去噪数据集合的步骤具体包括：对所述节点集合中各节点两两之间建立边，得到边权重矩阵；具体为：w_ij＝exp(‑||x_i‑x_j||²/2σ²)，i≠j其中，w_ij为所述边权重矩阵W的表达式，且w_ii＝0，σ²为预设参数；根据所述边权重矩阵得到归一化图矩阵；具体为：S＝D^‑1/2WD^‑1/2其中，S为所述归一化图矩阵，对角矩阵D的对角元素根据所述归一化图矩阵得到归一化图拉普拉斯矩阵；具体为：L＝I‑S其中，L为所述归一化图拉普拉斯矩阵，I为单位矩阵；根据所述归一化图拉普拉斯矩阵对所述节点集合进行第一类扭曲变换，得到第一类数据特征和第一类维度权重对角矩阵；具体为：$h_{\mathrm{ii}}=1/{\Sigma }_{j=1}^n{\Psi }_1{\left(x_i\right)}_j$其中，Rⁿ表示n维向量集合，通过所述第一类扭曲变换，将节点x_i映射到维度等于节点个数的特征空间，得到所述第一类数据特征Ψ₁(x_i)＝L^‑1(i,·)^T，L^‑1(i,·)表示所述归一化图拉普拉斯矩阵L逆矩阵的第i行向量；h_ii为所述第一类维度权重对角矩阵H₁的表达式；对所述节点集合建立判别函数，所述判别函数由所述数据特征及与所述数据特征维度相同的参数向量内积得到；具体为：f(x；w)＝<w,Ψ(x)>其中，判别函数f(x；w)表示节点x为实际正样本的概率；w为所述参数向量，Ψ(x)为所述数据特征，<w,Ψ(x)>表示所述数据特征Ψ(x)和所述参数向量w内积；根据所述判别函数建立第一学习模型；具体为：$\underset{w}{\min }\frac{1}{2}\left(\underset{i=1}{\overset{m}{\Sigma }}\right||f(x_i;w)-1{\left|\right|}^2+\mu <h,w·w>)$其中，x_i为所述标定正样本，h是权重向量，·是点乘算子，μ是平衡因子；简化所述第一学习模型，得到所述参数向量的第一表达式；具体为：w^*＝(X^TX+μH)^‑1X^Ty_nH＝diag(h)其中，w^*为所述参数向量的第一表达式，矩阵X＝[Ψ(x₁),…,Ψ(x_n)]^T，维度权重对角矩阵H中元素h_ii为所述权重向量h的第i维元素，y_n为节点x_n的查询样本向量；根据所述第一类数据特征和第一类维度权重对角矩阵，由所述判别函数得出所述节点集合中各节点的第一节点值；去除所述数据集合中对应节点的第一节点值小于或等于第一预设值的数据，得到所述去噪数据集合；所述获取所述查询样本集合中各标定正样本的第二节点值，所述第二节点值表示标定正样本是实际正样本的概率，提取所述去噪数据集合中对应标定正样本的第二节点值大于或等于第二预设值的标定数据，得到主导数据类的步骤具体包括：对所述节点集合中各节点两两之间建立边，得到边权重矩阵；具体为：w_ij＝exp(‑||x_i‑x_j||²/2σ²)，i≠j其中，w_ij为所述边权重矩阵W的表达式，且w_ii＝0，σ²为预设参数；根据所述边权重矩阵得到归一化图矩阵；具体为：S＝D^‑1/2WD^‑1/2其中，S为所述归一化图矩阵，对角矩阵D的对角元素根据所述归一化图矩阵得到归一化图拉普拉斯矩阵；具体为：L＝I‑S其中，L为所述归一化图拉普拉斯矩阵，I为单位矩阵；根据所述归一化图拉普拉斯矩阵对所述查询样本集合进行第二类扭曲变换，得到第二类数据特征和第二类维度权重对角矩阵；具体为：h_ii＝λ_i其中，R^k表示k维向量集合，通过所述第二类扭曲变换，得到第二类数据特征Ψ₂(x_j)＝U_k(j,·)^T，U_k(j,·)^T表示特征向量矩阵U_k＝[v₁,v₂,…,v_k]的逆矩阵的第j行向量，所述特征向量矩阵U_k由所述归一化图拉普拉斯矩阵L的前k个特征向量v组成，k为预设参数；h_ii为所述第二类维度权重对角矩阵H₂的表达式，λ_i为所述归一化图拉普拉斯矩阵L的特征值；对所述查询样本集合建立判别函数，所述判别函数由所述数据特征及与所述数据特征维度相同的参数向量内积得到；具体为：f(x；w)＝<w,Ψ(x)>其中，判别函数f(x；w)表示所述查询样本集合中标定正样本x为实际正样本的概率；w为所述参数向量，Ψ(x)为所述数据特征，<w,Ψ(x)>表示所述数据特征Ψ(x)和所述参数向量w内积；根据所述判别函数建立第二学习模型；具体为：$\underset{w}{\min }\frac{1}{2}\left(\underset{i=1}{\overset{l}{\Sigma }}\right||f(x_i;w)-1{\left|\right|}^2+\mu <h,w·w>)$其中，x_i为所述查询样本集合中的标定正样本，h是权重向量，·是点乘算子，μ是平衡因子；简化所述第二学习模型，得到所述参数向量的第二表达式；具体为：w^*＝(X^TX+μH)^‑1X^Ty_l其中，w^*为所述参数向量的第二表达式，矩阵X＝[Ψ(x₁),…,Ψ(x_l)]^T，维度权重对角矩阵H中元素h_ii为所述权重向量h的第i维元素，y_l为所述查询样本集合中标定正样本x_l的查询样本向量；根据所述第二类数据特征和第二类维度权重对角矩阵，由所述判别函数得出所述查询样本集合中各标定正样本的第二节点值；提取所述去噪数据集合中对应标定正样本的第二节点值大于或等于第二预设值的标定数据，得到所述主导数据类。