发明名称 | 从互联网中抽取大数据的存储方法 | ||
摘要 | 本发明公开了从互联网中抽取大数据的存储方法,数据请求步骤:从客户端输入检索关键词、设置检索范围,在检索范围内,从互联网中获得与检索关键词相关的数据;下载步骤:客户端下载所有与检索关键词相关的数据,并转发给容量分配器;转发储存步骤:容量分配器将与检索关键词相关的数据分为若干个独立的数据单元,并记载每个数据单元的容量,同时将数据单元依次按照时间轴的顺序存储到数据库集合中,数据库集合包括M个独立的数据库,容量分配器将当前数据单元存储到第N数据库后,第N数据库返回第N数据库的剩余容量信息,当第N数据库的剩余容量信息小于下一个数据单元的容量时,容量分配器开始向第N+1数据库存储数据单元。 | ||
申请公布号 | CN104765871A | 申请公布日期 | 2015.07.08 |
申请号 | CN201510200122.X | 申请日期 | 2015.04.26 |
申请人 | 成都创行信息科技有限公司 | 发明人 | 严澜 |
分类号 | G06F17/30(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
代理机构 | 代理人 | ||
主权项 | 从互联网中抽取大数据的存储方法,其特征在于:包括以下步骤:数据请求步骤:从客户端输入检索关键词、设置检索范围,在检索范围内,从互联网中获得与检索关键词相关的数据;下载步骤:客户端下载所有与检索关键词相关的数据,并转发给容量分配器;转发储存步骤:容量分配器将与检索关键词相关的数据分为若干个独立的数据单元,并记载每个数据单元的容量,同时将数据单元依次按照时间轴的顺序存储到数据库集合中,数据库集合包括M个独立的数据库,M个独立的数据库包括数据库1、数据库2、……、数据库M;容量分配器将当前数据单元存储到第N数据库后,第N数据库返回第N数据库的剩余容量信息,当第N数据库的剩余容量信息小于下一个数据单元的容量时,容量分配器开始向第N+1数据库存储数据单元,依次类推,直到与检索关键词相关的数据全部存储完成后终止,N和M都为正整数。 | ||
地址 | 610000 四川省成都市高新区天益街38号3栋 |