发明名称 |
一种流式计算和批处理计算相结合处理系统及方法 |
摘要 |
一种流式计算和批处理计算相结合处理系统,包括:基础设施层,用于提供系统运行的硬件环境,包括虚拟化、机房、网络及集群;数据存储管理层,用于存储分布式数据,保存处理后的实时数据与批处理数据,同时对元数据进行管理;数据计算层,用于提供流式计算与批处理计算方式;任务调度层,用于对系统任务进行调度,并对系统作业进行判断,根据判断结果控制数据计算层对元数据进行实时处理或者批处理;数据分析层,用于对处理后的数据进行数据分析;数据视图及查询优化层,用于提供数据实时处理视图、数据批处理视图及查询优化;数据展示层,用于提供数据分析结果的可视化信息。该方案不仅有效提高了数据处理效率,而且优化了数据查询方法。 |
申请公布号 |
CN105677752A |
申请公布日期 |
2016.06.15 |
申请号 |
CN201511019708.2 |
申请日期 |
2015.12.30 |
申请人 |
深圳先进技术研究院 |
发明人 |
范小朋;卞嫣然;杨望仙;须成忠 |
分类号 |
G06F17/30(2006.01)I;G06F9/30(2006.01)I;G06F9/48(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
深圳市科进知识产权代理事务所(普通合伙) 44316 |
代理人 |
郝明琴 |
主权项 |
一种流式计算和批处理计算相结合处理系统,其特征在于,包括:基础设施层,用于提供系统运行的硬件环境,包括虚拟化、机房、网络及集群;数据存储管理层,用于存储分布式数据,保存处理后的实时数据与批处理数据,同时对元数据进行管理;数据计算层,用于提供流式计算与批处理计算方式;任务调度层,用于对系统任务进行调度,并对系统作业进行判断,根据判断结果控制数据计算层对元数据进行实时处理或者批处理;数据分析层,用于对处理后的数据进行数据分析;数据视图及查询优化层,用于提供数据实时处理视图、数据批处理视图及查询优化;数据展示层,用于提供数据分析结果的可视化信息。 |
地址 |
518055 广东省深圳市南山区西丽大学城学苑大道1068号 |