发明名称 一种数据处理方法及其系统
摘要 本发明公开了一种数据处理方法和数据处理系统,本发明方法包括:并行执行多个Map任务,其中,每个Map任务获取待处理数据中相应部分的数据,并对获取到的数据进行数据处理,得到所述待处理数据的局部处理结果;执行Reduce任务,所述Reduce任务根据所有局部处理结果得到所述待处理数据的全局处理结果。采用本发明,可提高数据挖掘过程中的数据预处理效率。
申请公布号 CN101799808A 申请公布日期 2010.08.11
申请号 CN200910077660.9 申请日期 2009.02.10
申请人 中国移动通信集团公司 发明人 高丹;邓超;徐萌;罗治国;周文辉;何清;谭庆;马旭东;郑诗豪;沈亚飞;陈磊
分类号 G06F17/30(2006.01)I 主分类号 G06F17/30(2006.01)I
代理机构 北京同达信恒知识产权代理有限公司 11291 代理人 魏杉
主权项 一种数据处理方法,其特征在于,包括:并行执行多个映射Map任务,其中,每个Map任务获取待处理数据中相应部分的数据,并对获取到的数据进行数据处理,得到所述待处理数据的局部处理结果;执行简化Reduce任务,所述Reduce任务根据所有局部处理结果得到所述待处理数据的全局处理结果。
地址 100032 北京市西城区金融大街29号