发明名称 一种流式计算和批处理计算相结合处理系统及方法
摘要 一种流式计算和批处理计算相结合处理系统,包括:基础设施层,用于提供系统运行的硬件环境,包括虚拟化、机房、网络及集群;数据存储管理层,用于存储分布式数据,保存处理后的实时数据与批处理数据,同时对元数据进行管理;数据计算层,用于提供流式计算与批处理计算方式;任务调度层,用于对系统任务进行调度,并对系统作业进行判断,根据判断结果控制数据计算层对元数据进行实时处理或者批处理;数据分析层,用于对处理后的数据进行数据分析;数据视图及查询优化层,用于提供数据实时处理视图、数据批处理视图及查询优化;数据展示层,用于提供数据分析结果的可视化信息。该方案不仅有效提高了数据处理效率,而且优化了数据查询方法。
申请公布号 CN105677752A 申请公布日期 2016.06.15
申请号 CN201511019708.2 申请日期 2015.12.30
申请人 深圳先进技术研究院 发明人 范小朋;卞嫣然;杨望仙;须成忠
分类号 G06F17/30(2006.01)I;G06F9/30(2006.01)I;G06F9/48(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 深圳市科进知识产权代理事务所(普通合伙) 44316 代理人 郝明琴
主权项 一种流式计算和批处理计算相结合处理系统,其特征在于,包括:基础设施层,用于提供系统运行的硬件环境,包括虚拟化、机房、网络及集群;数据存储管理层,用于存储分布式数据,保存处理后的实时数据与批处理数据,同时对元数据进行管理;数据计算层,用于提供流式计算与批处理计算方式;任务调度层,用于对系统任务进行调度,并对系统作业进行判断,根据判断结果控制数据计算层对元数据进行实时处理或者批处理;数据分析层,用于对处理后的数据进行数据分析;数据视图及查询优化层,用于提供数据实时处理视图、数据批处理视图及查询优化;数据展示层,用于提供数据分析结果的可视化信息。
地址 518055 广东省深圳市南山区西丽大学城学苑大道1068号