发明名称 一种数据存储方法及装置
摘要 本发明公开了一种数据存储方法及装置,属于网络数据分析技术领域。本发明的数据存储方法将抓取到的数据按照时间先后顺序暂存在缓存中,记录具有相同类型属性的数据在缓存中的位置,利用记录的内容将缓存中的数据按照属性类型排序后存储到硬盘中,即将具有相同类型属性的数据连续存储。该发明的数据存储方法能提高数据的读取效率,方便对网络数据进行分,具有很好的推广应用价值。
申请公布号 CN106484332A 申请公布日期 2017.03.08
申请号 CN201610890096.2 申请日期 2016.10.12
申请人 郑州云海信息技术有限公司 发明人 陈思聪
分类号 G06F3/06(2006.01)I;G06F17/30(2006.01)I 主分类号 G06F3/06(2006.01)I
代理机构 济南信达专利事务所有限公司 37100 代理人 高经
主权项 一种数据存储方法,其特征在于:将抓取到的数据按照时间先后顺序暂存在缓存中,记录具有相同类型属性的数据在缓存中的位置,利用记录的内容将缓存中的数据按照属性类型排序后存储到硬盘中,即将具有相同类型属性的数据连续存储,该数据存储方法的具体步骤为:S1:依据抓取数据的先后顺序,将抓取到的多条数据存储在第一缓存中,其中,各条所述数据具有N个相同类型的属性,N为大于1的整数;S2:依据所述多条数据在第一缓存中的位置,生成第一嵌套哈希表,其中,所述第一嵌套哈希表由N层第一哈希表嵌套组成,各层所述第一哈希表的键依次为所述N个相同类型的属性,且第一层至第N‑1层所述第一哈希表的值依次为下一层的第一哈希表,第N层第一哈希表的值为各条所述数据在第一缓存中的地址值;S3:根据预设遍历顺序,依次获取所述第N层第一哈希表中的地址值;S4:根据获取各个所述地址值的顺序,依次将第一缓存中各个所述地址值对应的数据存储至硬盘。
地址 450000 河南省郑州市郑东新区心怡路278号16层1601室