一种基于中间表的分布式报表系统

摘要

本发明是一种基于中间表的分布式报表系统，本发明通过采用引入中间表对原始的大规模事件进行实时的分阶段统计的方式解决在大规模事件处理环境下对原始事件生成统计报表性能不佳的问题。通过预定义一些通用的中间表，对原始事件进行分类和实时统计，在生成统计报表时直接使用中间表中的统计数据，通过减少输入数据的规模，从而大大减少生成报表的时间和对系统资源的占用。

主权项

一种基于中间的表分布式报表系统，包括作为宿主的服务器和网络设备，其特征在于：该系统包括中间表管理单元A、报表运行管理单元B和管理平台服务单元C，其中：中间表管理单元A包括：中间表文件管理模块(1)，本模块负责对存储于文件系统中的中间表描述文件进行读取，并存储于内存中，以供其他模块使用；中间表初始化模块(2)，本模块由报表运行管理单元触发，负责将中间表文件管理模块(1)加载的所有中间表描述文件的内容转化为计算机能够理解的对象形式，逐个初始化，本模块会将初始化后的所有的中间表对象保存在内存中，在系统运行中随时调用；中间表对象中定义如下内容：属性说明表名：中间表在数据库中建表使用的名称；名称：在管理中心系统平台中识别中间表的名称；运行间隔：中间表进行一次统计与下一次统计之间的时间，单位为分钟，最小值为1分钟；包含的字段：中间表中所包含的全部字段，管理中心系统平台根据中间表制作报表时，所能使用的字段范围；所有选择作为中间表的字段都会在组装统计SQL语句时被用作分组字段，并创建索引；每个中间表会自动包括事件量、发送流量、接收流量和总流量作为每次统计的统计值保存在中间表中，并提供给制作报表时使用；条件：中间表进行统计时选择的事件范围；中间表建表模块(3)，本模块负责组装中间表定义的建表SQL语句，并执行建表过程，也即执行创建表SQL语句，在数据库中创建对应的数据表；中间表统计模块(4)，本模块负责组装中间表的统计SQL语句，在报表系统的调度过程中，被报表运行管理单元调用，执行统计工作，并将 统计结果写入中间表对应的数据库中的数据表中，也即执行统计SQL语句；管理平台服务单元B包括：文件系统访问模块(5)，本模块提供访问计算机文件系统的统一接口和方法，提供的方法有：读取文件、存储文件和删除文件；本模块用于中间表文件管理模块(1)调用文件系统中的中间表表述文件(8)，以规范报表系统对文件系统的使用；数据库访问模块(6)，本模块提供访问数据库(9)的统一接口和方法，提供的方法有：创建数据库表和向数据库表中插入数据；报表运行管理单元C通过调度中间表管理单元A中的中间表初始化管理模块(2)、中间表建表模块(3)、中间表统计模块(4)和管理平台服务单元B的数据库访问模块(6)，完成调用中间表管理单元进行初始化、周期性调用中间表管理单元的中间表统计模块执行中间表统计动作、通过管理平台服务单元访问中间表对应的数据库表提供报表数据。