发明名称 一种基于分布式关系-对象映射处理的大数据查询的方法
摘要 本发明公开了一种基于分布式关系-对象映射处理的大数据查询的方法。本方法为:1)选取m个数据处理节点,对每一数据处理节点构建一Hibernate Session对象,得到一分布式Hibernate架构,并生成一Session资源队列;2)设置一配置文件,设置每一类型表对应的存储策略和路由策略;将数据量较小S表在每一数据处理节点备份,将数据量较大L表分块存储到m个数据处理节点;3)对输入的查询请求进行解析,根据查询请求的类别选择对应的处理器;4)所选处理器根据该查询请求和对应的路由策略,从资源队列中选择对应的节点对该查询请求进行处理,并对处理结果进行规约。本发明显著提高对大数据表的查询速率。
申请公布号 CN103678609A 申请公布日期 2014.03.26
申请号 CN201310690335.6 申请日期 2013.12.16
申请人 中国科学院计算机网络信息中心 发明人 王鹏尧;崔建业;杨风雷;黎建辉
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京君尚知识产权代理事务所(普通合伙) 11200 代理人 余长江
主权项 一种基于分布式关系‑对象映射处理的大数据查询的方法,其步骤为:1)选取m个数据处理节点,针对每一数据处理节点构建一Hibernate Session节点,得到一分布式Hibernate架构,并生成一Session资源队列;2)在所述分布式Hibernate架构中设置一配置文件,所述配置文件包括表类型属性,以及每一类型表对应的存储策略和路由策略;其中,所述表类型属性包括S表和L表;将S表在每一所述数据处理节点备份,将L表分块存储到m个所述数据处理节点;L表为数据量大于或等于设定阈值的表,S表为数据量小于设定阈值的表;3)所述分布式Hibernate架构对输入的查询请求进行解析,根据查询请求的类别选择对应的处理器;4)所选处理器根据该查询请求和对应的路由策略,从所述Session资源队列中选择对应的Session节点对该查询请求进行处理,并对处理结果进行规约。
地址 100190 北京市海淀区中关村南四街4号