基于自适应分组多层网络的大型数据集约减方法

摘要

本发明公开了一种基于自适应分组多层网络的大型数据集约减方法，主要解决现有技术中计算复杂度高、内存占用空间大的问题，其实现步骤为：(1)输入数据集；(2)对网络参数进行初始化；(3)对网络的输入数据进行分组；(4)对每组数据分别进行样本约减处理，得到每层网络的输出，(5)对于满足输出条件则输出约减结果，否则进行下一级样本约减网络的构建。经实验，将本发明得到的约减样本，应用于谱聚类算法上能够得到和经典算法难分伯仲的聚类精度，并在保证聚类精度的同时降低了聚类计算的复杂度，可用于对大型数据集的处理。

主权项

一种基于自适应分组多层网络的大型数据集约减方法，包括以下步骤：(1)输入数据集其中N₀是数据个数，b是数据的维度；(2)初始化网络参数：隐节点个数与输入级数据个数之比θ、隐节点的更新速率v、期望约减后样本数N_est、最大网络层数N_l、第一层网络的输入端分组个数N_g、第一层输入数据Y^k＝X，样本数目N_k＝N₀，网络层索引值k＝1；(3)在第k层网络中，求出每个分组内的最大数据个数n_k,max＝[N_k/N_g]，其中，[·]运算符表示取括号内整数部分的运算，将输入级数据Y^k均匀地分配到N_g个分组中得到数据子集其中D^k,p表示第k层网络中第p个数据子集，其数据个数为n_k,p，n_k,p≤n_k,max；(4)对Y^k中每组输入数据根据密度峰值和稀疏表示思想依次进行样本约减处理，并判断收敛特性值cov是否大于误差容限值：若是，则增加隐节点子集H^k,p的样本数量，否则对下一组数据进行样本约减处理，且当所有分组数据处理完毕时，结束样本约减过程，得到N_g个数据分组的隐节点子集，合并后构成第k层网络的输出H^k中数据个数其中n′_k,p表示第k层网络第p个数据分组样本约减后得到的数据个数；(5)判断输出数据个数N′_k是否小于期望约减后样本数N_est或者当前网络层索引值k是否大于最大网络层数N_l：若满足条件，则输出数据约减结果H^k，否则，增加一层网络，并把第k层网络的输出H^k作为下一级网络的输入Y^k+1，即Y^k+1＝H^k，N_k+1＝N′_k,更新参数：k＝k+1、N_k←N_k+1、Y^k←Y^k+1，返回步骤(3)。