发明名称 |
一种数据处理方法及其系统 |
摘要 |
本发明公开了一种数据处理方法和数据处理系统,本发明方法包括:并行执行多个Map任务,其中,每个Map任务获取待处理数据中相应部分的数据,并对获取到的数据进行数据处理,得到所述待处理数据的局部处理结果;执行Reduce任务,所述Reduce任务根据所有局部处理结果得到所述待处理数据的全局处理结果。采用本发明,可提高数据挖掘过程中的数据预处理效率。 |
申请公布号 |
CN101799808A |
申请公布日期 |
2010.08.11 |
申请号 |
CN200910077660.9 |
申请日期 |
2009.02.10 |
申请人 |
中国移动通信集团公司 |
发明人 |
高丹;邓超;徐萌;罗治国;周文辉;何清;谭庆;马旭东;郑诗豪;沈亚飞;陈磊 |
分类号 |
G06F17/30(2006.01)I |
主分类号 |
G06F17/30(2006.01)I |
代理机构 |
北京同达信恒知识产权代理有限公司 11291 |
代理人 |
魏杉 |
主权项 |
一种数据处理方法,其特征在于,包括:并行执行多个映射Map任务,其中,每个Map任务获取待处理数据中相应部分的数据,并对获取到的数据进行数据处理,得到所述待处理数据的局部处理结果;执行简化Reduce任务,所述Reduce任务根据所有局部处理结果得到所述待处理数据的全局处理结果。 |
地址 |
100032 北京市西城区金融大街29号 |