发明名称 |
一种大数据分布式存储方法和系统 |
摘要 |
本发明提供了一种大数据分布式存储方法和系统,该方法包括:将数据管理引擎运行在主节点上,对用户查询进行编译、转换和优化、生成查询执行计划并执行,进行元数据管理和节点监控;在分布式计算节点上运行服务器进程,执行分布式计算任务;将分布式计算的工作进程以及单节点数据库部署在数据节点;将子查询在数据库中执行或者在分布式计算框架中执行。本发明增加了将查询下推到数据库中执行的机会,避免跨节点连接带来的数据传输代价,提高了查询性能。 |
申请公布号 |
CN105608077A |
申请公布日期 |
2016.05.25 |
申请号 |
CN201410584019.5 |
申请日期 |
2014.10.27 |
申请人 |
青岛金讯网络工程有限公司 |
发明人 |
李东 |
分类号 |
G06F17/30(2006.01)I;H04L29/08(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
|
代理人 |
|
主权项 |
一种大数据分布式存储方法,用于在云存储系统中实现大数据的存储和查询,所述云存储系统包括主节点,分布式计算节点和数据节点,其特征在于,包括:将数据管理引擎运行在主节点上,接收用户查询,对查询进行编译、转换和优化、生成查询执行计划并执行查询,同时进行元数据管理和节点监控;在分布式计算节点上运行服务器进程,执行分布式计算任务;将分布式计算的工作进程以及单节点数据库部署在数据节点,将数据表存储在数据节点的数据库中;将由用户查询转换成的子查询在数据库中执行,或者在分布式计算框架中执行。 |
地址 |
266100 山东省青岛市城阳区春阳路280-6号 |