一种基于大数据的短期负荷预测平台

摘要

一种以Hadoop集群为架构的基于大数据的短期负荷预测平台，并在此平台上利用Mapreduce实现了局部加权线性回归的并行化负荷预测，该平台包含：数据整合模块、负荷预测模块、结果可视化模块以及用户管理模块；数据整合模块，完成了从负荷相关的数据采集与加载、数据存储到最后的多因素大数据集成融合技术的完全化数据处理流程；负荷预测模块，通过将局部加权线性回归算法Mapreduce化实现并行化负荷预测，并利用参数调节控制实现自学、自适应负荷预测；结果可视化模块是平台预测结果的具体展现层，将实时分析技术动态呈现；用户管理模块是平台的安全机制层，实现负荷预测平台安全、可靠、高效地运行。

主权项

一种基于大数据的短期负荷预测平台，采用Hadoop集群为架构，其特征在于：包括数据整合模块、负荷预测模块、结果可视化模块，所述数据整合模块，用于采集、存储并处理与负荷相关的多源异构数据，并对这些多源异构数据进行融合以及历史数据的校正、填补和归一化处理；所述数据整合模块包括数据加载模块、数据存储模块、多级综合索引模块、数据处理模块；所述数据加载模块，将采集到的多源异构数据加载到数据存储模块中；所述数据存储模块，对于半结构化数据、非结构化数据以及结构化数据，使用HBase的key‑value存储，对于单个三种数据类型的文件，直接存储在HDFS文件系统中；所述多级综合索引模块，用于按用户的查找条件找到所需的数据；所述数据处理模块，用于实现数据预处理，对于所有多源异构数据，选用多核函数学习方法进行融合；对于历史负荷数据中的缺失数据，采用插补法补全数据；对于历史负荷数据中的异常数据，采用纵横法来校正异常数据；最后对所有处理之后的数据进行归一化；数据加载模块将采集的原始数据加载到数据存储模块，数据存储模块存储采集到的多源异构数据，多级综合索引模块按用户指令搜索数据存储模块中的多源异构数据得到用户需求数据，数据处理模块处理用户需求数据；所述负荷预测模块，根据负荷周期性分析理论、相似性分析理论以及影响负荷的因素相关性分析，将局部加权线性回归算法Mapreduce化进行负荷预测，计算相对误差、日负荷准确率来调整算法参数以实现参数调节控制，得到最终最优参数的局部加权线性回归算法，进行负荷预测得到预测结果；所述结果可视化模块，用于显示负荷预测结果。