动态离群值偏倚减少系统和方法

摘要

这里描述了用于进行数据过滤以减少功能性和趋势线离群值偏倚的系统和方法。通过客观统计方法从数据集合中去除离群值。基于绝对误差、相对误差或两者确定偏倚。根据数据、模型系数或趋势线计算来计算误差值。当误差值大于或等于用户提供的标准时，去除离群数据记录。对于优化方法或其他迭代计算，去除的数据在每次迭代中被重应用到模型以计算新结果。利用完整数据集的模型值，计算新误差值并且重应用离群值偏倚减少过程。以迭代方式对于模型系数和离群值去除数据最小化整体误差，直到达到用户定义的误差改进限度为止。经过滤的数据可用于验证、离群值偏倚减少和数据质量操作。

主权项

一种由计算机实现的方法，包括以下步骤：减少离群值偏倚，其中，减少离群值偏倚包括以下步骤：选择用于确定一个或多个离群值的偏倚标准；提供完整数据集合，其中，所述完整数据集合包括为至少一个变量收集的所有实际值；提供与数学模型相关联的模型系数的集合；(1)由处理器基于向完整数据集合应用所述数学模型而为所述完整数据集合生成预测值的集合；(2)由处理器通过比较所述完整数据集合的预测值的集合与对应的实际值来生成误差集合；(3)由处理器基于误差集合和偏倚标准生成误差阈值的集合；(4)由处理器生成包括所述完整数据集合中具有对应的误差集合值在所述误差阈值的集合之外的元素的去除的数据集合；(5)由处理器生成包括所述完整数据集合中不在所述去除的数据集合中的所有元素的经审查的数据集合；(6)由处理器基于经审查的数据集合生成与所述数学模型相关联的经更新的模型系数的集合；以及(7)重复步骤(1)‑(6)作为迭代，除非满足了审查性能终止标准，在所述迭代处，通过使用经更新的模型系数的集合生成所述预测值的集合、误差集合、误差阈值的集合、去除的数据集合以及经审查的数据集合。