一种基于分布式计算的海量用电信息并行计算系统及方法

摘要

本发明公开了一种基于分布式计算的海量用电信息并行计算系统及方法，包括：用电信息分布式存储模块，主从结构，包括用电信息分布式存储模块主节点和若干用电信息分布式存储模块从节点，用电信息计算处理引擎，主从结构，包括用电信息计算处理引擎主节点和用电信息计算处理引擎从节点，用电信息计算处理引擎与用电信息分布式存储模块相互通信；实现应用分布式计算框架快速运算和计算结果回写在内的各项功能。在对要计算的海量用电信息实现非结构化映射的基础上，对要计算的数据分组后实现并行计算，将最终的结果合并后返回，提升数据综合计算能力，实现服务器计算能力的横向扩展，解决用电大数据时代海量数据实时、高效处理的问题。

主权项

一种基于分布式计算的海量用电信息并行计算系统，其特征是，包括：用电信息分布式存储模块，是主从结构的，包括用电信息分布式存储模块主节点和若干用电信息分布式存储模块从节点，用电信息计算处理引擎，是主从结构的，包括用电信息计算处理引擎主节点和用电信息计算处理引擎从节点，所述用电信息计算处理引擎与用电信息分布式存储模块相互通信；分布式管理模块，用来解决分布式应用中遇到的数据管理问题；用电信息元数据存储模块，用于存储用电信息数据管理模块所管理数据表的元数据信息；用电信息数据管理模块，用于将存储在用电信息分布式存储模块中的结构化的数据文件映射为一张数据库表，并提供类SQL的查询语言，将查询语句自动转换为计算任务提交到用电信息计算处理引擎中运行，数据文件与数据表的映射关系存储在应用关系数据库中；访问代理模块，提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机；当业务应用发起计算请求时，访问代理能够将业务应用不同协议方式的请求转换为统一的任务请求格式提交用电信息数据管理模块，并实现负载均衡。