一种基于数据分布库的多维度数据分布方法

摘要

本发明公开了一种基于数据分布库的多维度数据分布及方法，属于电网数据处理技术领域。本发明首先分析业务逻辑，分析出业务功能和数据库中的表之间的逻辑关系，然后确定水平或垂直分布，根据业务分析结果，确定数据整体拆分原则，对于简单逻辑的系统宜采用垂直分布策略，对于复杂逻辑的系统宜采用水平分布策略，接着确定多维度混合分布，结合业务逻辑，组合数据分布库中的分布策略成最佳的混合分布；并确定多维度分布的数据块的最细粒度，通过分析集群节点的存储空间，利用最大公约原则来确定数据块的最细粒度；最后实现数据分布。本发明能够实现高性能的数据查询与分析，满足用户对大数据处理的实时性需求。

主权项

一种基于数据分布库的多维度数据分布方法，其特征在于，包括以下步骤：1）分析业务逻辑，分析出业务功能和业务层使用的电力信息数据库中的表之间的逻辑关系，并分析出可用于分布的字段集合；2）确定水平或垂直分布，根据业务分析结果，确定数据整体拆分原则，对于简单逻辑的系统可以采用垂直分布策略，对于复杂逻辑的系统采用水平分布策略；3）确定多维度混合分布，利用业务分析结果，分析用户行为，明确查询、统计任务常用维度，然后利用数据分布库中的这些数据分布策略进行组合，将数据分成大小基本相同的数据块；4）确定多维度分布的数据块的最细粒度，通过分析集群节点的存储空间，利用最大公约原则来确定数据块的最细粒度；所述最细粒度的数据块是不可再拆分的、最基本的数据块，以最细粒度的数据块为单位进行计算节点的存储空间；5）实现数据分布，根据节点的可用存储空间，利用最细粒度的数据块来计算集群节点分布的数据，存储数据量。