一种基于混合范数的数据分类训练数据库清洗方法

摘要

本方法公开了一种基于混合范数的数据分类训练数据库清洗方法。目标是大规模减少训练样本数量和维数。本方法核心技术包括：第一、将用户给出的数据库进行预处理，包括缺失处理和数据集合预切割；第二、利用混合范数（包括零范数、1范数和无穷范数）和数据相关性技术，从数据库中抽取有代表性的样本；第三、利用正交化技术选择出最优样本，并根据分类标识补全样本数量为空的类样本。基于上述过程，此方法能大幅减少数据分类的建模时间和内存空间，提高学效率。在给出的清洗效率指标下，我们选择了常用的5类数据分类算法在10种UCI数据库上，开展了数据分类测试，结果表明，学数据库样本越多，清洗效率越高，清洗效率最高可达到140以上。

主权项

一种基于混合范数的数据分类训练数据库清洗方法，其特征在于：对数据分类训练数据库清洗时，进行了以下步骤：步骤1，对输入的数据库进行预处理，包括缺失值、异常值的处理和数据集合预切割；步骤2，利用混合范数从预处理后的数据库中抽取代表性样本；步骤3，利用正交化技术进行样本矫正，选择出最优样本；步骤4，根据分类标识补全样本数量为空的类样本，得到最终结果。