发明名称 基于倒排列表的网流索引检索与压缩的方法
摘要 本发明公开了计算机网络和大数据分析交叉领域的一种基于倒排列表的网流索引检索与压缩的方法,用以解决目前网流索引检索与压缩的研究中存在的问题。该方法具体步骤为:首先,把IP偏移量地址建立成索引,具体包括,先把数字转换成词典,再将IP偏移词典建立为倒排索引;其次,对倒排列表中的数据进行压缩,压缩算法包括simple9算法压缩,carryover-12算法压缩,pfordelta算法压缩;再次,解压和寻回,具体包括先根据压缩算法的不同选择相应的解码器,将压缩单位进行解码,再将解压数字转换成特定的数据结构,如倒排索引和词典;最后,根据倒排索引获得每个流量包的信息。本发明的有益效果在于有效实现高效的索引技术,以及索引压缩技术,能够有效检索海量网络流量数据。
申请公布号 CN104009984A 申请公布日期 2014.08.27
申请号 CN201410206048.8 申请日期 2014.05.15
申请人 清华大学 发明人 陈震;刘洪健;马戈;曹军威
分类号 H04L29/06(2006.01)I;H04L12/24(2006.01)I;G06F17/30(2006.01)I 主分类号 H04L29/06(2006.01)I
代理机构 北京众合诚成知识产权代理有限公司 11246 代理人 黄家俊
主权项 一种基于倒排列表的网流索引检索与压缩的方法,其特征是所述方法包括:步骤1:把IP偏移量地址建立成索引;步骤2:对倒排列表中的数据进行压缩,并以数组的形式保存在内存中;步骤3:解压和寻回;步骤4:根据倒排索引获得每个流量包的信息。
地址 100084 北京市海淀区北京市100084-82信箱