发明名称 |
一种数据处理方法及装置 |
摘要 |
本发明公开了一种数据处理方法和装置,所述装置包括:分组模块,配置为对输入的数据进行分组,其中,所述数据的组数根据处理该数据的结点数确定;处理模块,配置为依次为每个结点分配一组待处理的数据,并利用各结点对各自对应的数据进行并行的连续id化处理,其中,所述连续id化处理是指将数据中的关键字替换为0-N的整数;存储模块,配置为存储经连续id化处理后的数据;其中,所述处理模块还配置为:对于任意一个结点,计算本结点起始id编号;根据本结点起始id编号对本结点数据进行id化。采用本发明能够实现数据并行id化处理,节省存储时间。 |
申请公布号 |
CN103020203A |
申请公布日期 |
2013.04.03 |
申请号 |
CN201210517564.3 |
申请日期 |
2012.12.05 |
申请人 |
北京奇虎科技有限公司;奇智软件(北京)有限公司 |
发明人 |
齐路;何锐邦;唐会军 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京智汇东方知识产权代理事务所(普通合伙) 11391 |
代理人 |
康正德;范晓斌 |
主权项 |
一种数据处理方法,包括:对输入的数据进行分组,其中,所述数据的组数根据处理该数据的结点数确定;依次为每个结点分配一组待处理的数据,并利用各结点对各自对应的数据进行并行的连续id化处理,其中,所述连续id化处理是指将数据中的关键字替换为0‑N的整数;存储经连续id化处理后的数据;其中,所述利用各结点对各自对应的组数据进行并行的连续id化处理,包括:对于任意一个结点,计算本结点起始id编号;根据本结点起始id编号对本结点数据进行id化。 |
地址 |
100088 北京市西城区新街口外大街28号D座112室(德胜园区) |