发明名称 |
一种基于分布式关系-对象映射处理的大数据查询的方法 |
摘要 |
本发明公开了一种基于分布式关系-对象映射处理的大数据查询的方法。本方法为:1)选取m个数据处理节点,对每一数据处理节点构建一Hibernate Session对象,得到一分布式Hibernate架构,并生成一Session资源队列;2)设置一配置文件,设置每一类型表对应的存储策略和路由策略;将数据量较小S表在每一数据处理节点备份,将数据量较大L表分块存储到m个数据处理节点;3)对输入的查询请求进行解析,根据查询请求的类别选择对应的处理器;4)所选处理器根据该查询请求和对应的路由策略,从资源队列中选择对应的节点对该查询请求进行处理,并对处理结果进行规约。本发明显著提高对大数据表的查询速率。 |
申请公布号 |
CN103678609A |
申请公布日期 |
2014.03.26 |
申请号 |
CN201310690335.6 |
申请日期 |
2013.12.16 |
申请人 |
中国科学院计算机网络信息中心 |
发明人 |
王鹏尧;崔建业;杨风雷;黎建辉 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京君尚知识产权代理事务所(普通合伙) 11200 |
代理人 |
余长江 |
主权项 |
一种基于分布式关系‑对象映射处理的大数据查询的方法,其步骤为:1)选取m个数据处理节点,针对每一数据处理节点构建一Hibernate Session节点,得到一分布式Hibernate架构,并生成一Session资源队列;2)在所述分布式Hibernate架构中设置一配置文件,所述配置文件包括表类型属性,以及每一类型表对应的存储策略和路由策略;其中,所述表类型属性包括S表和L表;将S表在每一所述数据处理节点备份,将L表分块存储到m个所述数据处理节点;L表为数据量大于或等于设定阈值的表,S表为数据量小于设定阈值的表;3)所述分布式Hibernate架构对输入的查询请求进行解析,根据查询请求的类别选择对应的处理器;4)所选处理器根据该查询请求和对应的路由策略,从所述Session资源队列中选择对应的Session节点对该查询请求进行处理,并对处理结果进行规约。 |
地址 |
100190 北京市海淀区中关村南四街4号 |