一种云计算技术的二次设备大数据存储与处理方法

摘要

本发明的目的在于提供本发明公开了一种采用云计算技术，对电力系统保护装置、故障滤波器、安全自动装置、综自系统、操作电源系统等二次设备所产生的海量过程监测数据，进行集中存储、统一管理和并行计算的海量历史数据的存储处理方法。利用云计算技术，对过程检测数据、设备缺陷数据、设备状态日志、巡检数据等数据，形成统一的存储规范，并采用分布式计算框架实现对大规模数据下的条件查询和并行处理。本发明实现了面向全库的、长周期的、结构化二次设备历史数据的存储，满足电力系统在存储容量、数据写入速度、查询效率以及系统扩展性方面的要求，为二次设备的海量历史数据分析和挖掘提供有力支撑。

主权项

一种云计算技术的二次设备大数据存储与处理方法，其特征在于包含了两个部分：构建二次设备历史监测数据的存储模式、基于并行处理框架的关联查询；(1)二次设备历史数据的存储模式设计采用非关系型数据库(HBase)存储监测数据，其本质存储的是键值对，即为<行键，值>的形式；其中，行键的组成部分包括高序时间戳，监测项UID，标签名和标签值列表；(2)基于并行处理的二次设备历史监测数据关联查询，即对二次设备历史监测数据库中存在的两个表：左表T1和右表T2，进行关联查询，目标是将两表中索引字段值相同的记录关联起来形成一条记录，而且两个表中存在着相同的索引字段作为关联键，具体关联查询包括两个过程：映射过程和约简过程：(a)映射过程在映射阶段，每个映射任务随机读取关联左表和右表中一条记录，此条记录对于映射函数来说是输入的键值对，输入的形式为<k1,v1>，其中，k1为行键的部分，v1为值的部分；对输入的键值对进行遍历，将所述输入的键值对与设定的关联查询的字段进行比较，判断所述输入的键值对是否为关联查询字段集合的子集；(b)约简过程将映射任务的输出键值对按照行键进行排序，并将具有相同行键的键值对进行合并，形成列表：<k2,list(v2)>，其中list(v2)包含的是映射过程中的从左表和右表中抽取出来的复合对象列表；行键相同的键值对列表<k2,list(v2)>传输给不同的约简任务；约简任务中，将输入键值对列表<k2,list(v2)>进行解析。