一种基于大数据的海量用电数据混合存储系统及方法

摘要

一种给予大数据的海量用电数据混合存储系统及方法，包括数据采集装置、用电信息采集系统、用电信息处理系统，其中用电信息采集系统包括集抄子系统和海量数据平台，用电信息处理系统包括数据预处理装置、数据后处理装置、分布式存储器和数据查询服务器，其中用电信息采集系统分别与数据采集装置和用电信息处理系统连接，集抄子系统，海量数据平台，数据预处理装置和数据后处理装置依次连接，数据预处理装置和数据后处理装置分别与分布式存储器双向连接，分布式存储器与数据查询服务器连接，可以快速、高效、及时地处理海量实时数据，同时保证设备安全、稳定、高效地运行。

主权项

一种基于大数据的海量用电数据混合存储系统，其特征在于：包括数据采集装置、用电信息采集系统、用电信息处理系统，其中用电信息采集系统包括集抄子系统和海量数据平台，用电信息处理系统包括数据预处理装置、数据后处理装置、分布式存储器和数据查询服务器，其中用电信息采集系统分别与数据采集装置和用电信息处理系统连接，集抄子系统，海量数据平台，数据预处理装置和数据后处理装置依次连接，数据预处理装置和数据后处理装置分别与分布式存储器双向连接，分布式存储器与数据查询服务器连接，其中；数据采集装置，用于实时或准实时获取用户用电监测数据，并将采集到的用户用电监测数据传输给用电信息采集系统；用电采集信息系统，包括集抄子系统和海量数据平台，用于通过集抄子系统将用户用电数据采集处理并推送到海量信息平台进行存储，并且以推送的方式或者流式输出的方式，将处理后的用户用电监测数据推送到分布式存储器或输出至数据预处理装置；数据预处理装置，用于以流式接入的方式接收来自用电信息采集系统发送的用户用电监测数据，或者以批量接入的方式，通过预定义的调度计划自动获取用电信息采集系统中的常规的设备台账数据和历史数据，并存储在分布式存储器；数据后处理装置，用于将数据预处理装置的输出数据，在不同的业务指标下对台账数据和历史数据进行过滤和计算，依据预先编排好的处理逻辑对台账数据和历史数据进行处理，训练形成数据挖掘模型，得出指标数据，并将指标数据回传到分布式存储器进行存储；分布式存储器，用于将经过数据预处理和数据后处理后的台账数据，历史数据和指标数据进行存储；数据查询服务器，用于直接从分布式存储器查询数据，对用户用电数据长期历史数据执行综合查询和短期历史数据综合查询。