一种基于聚类方法的测量数据粗大误差处理系统及处理方法

摘要

本发明公开了一种基于聚类方法的测量数据粗大误差处理系统及处理方法，该系统包括测量数据获取模块、测量数据库模块、特征提取模块、特征库模块、聚类方法选择模块、聚类结果模块、规则提取模块、规则库模块和报告生成模块。本发明方法首先从采集系统获取数据；然后选择剔除粗大误差的模式，利用已有规则或采用聚类方法直接处理；最后显示处理结果。本发明分析了目前各种测量数据的特点，解决了传统统计方法的不足，在无需知道数据集分布的情况下对数据进行处理，同时提供对多维测量数据的处理过程，对大规模数据同样适用，不仅使得可检测的范围扩大，同时提高了粗大误差处理的效率，同时该系统具有可扩展性。

主权项

一种基于聚类方法的测量数据粗大误差处理系统，其特征在于：该系统包括测量数据获取模块(1)、测量数据库模块(2)、特征提取模块(3)、特征库模块(4)、聚类方法选择模块(5)、聚类结果模块(6)、规则提取模块(7)、规则库模块(8)和报告生成模块(9)；测量数据获取模块(1)与测量数据库模块(2)连接，并向测量数据库模块(2)发送数据；测量数据库模块(2)分别与特征提取模块(3)和规则库模块(8)连接，并分别向特征提取模块(3)和规则库模块(8)发送数据；特征提取模块(3)分别与特征库模块(4)和聚类方法选择模块(5)连接，并分别向特征库模块(4)和聚类方法选择模块(5)发送数据；聚类方法选择模块(5)与聚类结果模块(6)连接，并向聚类结果模块(6)发送数据；聚类结果模块(6)分别与规则提取模块(7)和报告生成模块(9)连接，并分别向规则提取模块(7)和报告生成模块(9)发送数据；规则提取模块(7)与规则库模块(8)连接，并向规则库模块(8)发送数据；规则库模块(8)与报告生成模块(9)连接，并向报告生成模块(9)发送数据；其中测量数据获取模块(1)是与目前各种采集系统的接口，采集系统包括目前的各种智能仪器系统和参数采集系统，测量数据获取模块(1)能够同时获取多种类型的测量数据，并将测量数据发送给测量数据库模块(2)；测量数据库模块(2)将从测量数据获取模块(1)得到的数据按照设计好的数据库格式存储到相应的数据库表中，数据是单维的数据或多维的数据，数据采用统一的数据库模块结构；测量数据包括测量数据的基本信息和测量数据的具体数值信息，测量数据的基本信息包括采集系统的名称、采集参数的名称和标号，测量数据的具体数据信息包括测量的次数和相应的测量结果，其通过标号与采集参数关联；特征提取模块(3)通过相应简化属性的处理方法，在能够保留住数据的最重要特性的同时，将测量的属性进行简化处理，进而减少运算过程；特征提取模块(3)将处理后的属性发送到特征库模块(4)中；特征提取模块(3)采用主成分分析方法，根据特征值的大小按照从大到小的次序为特征向量排序，得到一个由具有数据协方差最大值的第一个特征向量所表示的正交基；找到这组数据按照能量最大化的排列方式所指示的方向；聚类方法选择模块(5)提供不同种类的聚类方法，用户根据具体应用进行选择，进而得到聚类结果，即得到数据的簇特性，并将聚类结果发送至聚类结果模块(6)；规则提取模块(7)根据相应的聚类结果，对数据进行类别特征提取，形成规则，以供对来源于相同采集系统的数据直接进行分析，并将相应的规则存入规则库模块(8)中，规则库模块(8)的信息主要包括以下几方面的内容：规则所属的采集系统、规则所对应的簇的类别、规则前提描述、规则结论描述以及每条规则所对应的置信度；规则提取模块(7)还通过领域专家提供的知识进行获取，并将相应的专家经验形成规则存入到规则库模块(8)中；每一条规则都有相应的置信度，根据测量数据粗大误差处理的结果与规则匹配的程度对置信度进行修改，提高匹配度高的规则的置信度；报告生成模块(9)将粗大误差处理后的结果以用户界面显示的方式显示给用户，为用户进行粗大误差处理提供借鉴。