| 发明名称 | 大数据清洗方法及装置 | ||
| 摘要 | 本发明提供了一种大数据清洗方法及装置，属于大数据整理技术领域，能够显著提高数据清洗的清洗速度和清洗效率。该大数据清洗方法包括：对清洗流程进行配置定义；对清洗流程进行解析，将清洗流程转换为Spark的原子操作；将清洗任务提交至Spark集群；由Spark集群进行数据清洗。 | ||
| 申请公布号 | CN106294745A | 申请公布日期 | 2017.01.04 |
| 申请号 | CN201610652750.6 | 申请日期 | 2016.08.10 |
| 申请人 | 东方网力科技股份有限公司 | 发明人 | 赵伟伟;张丛喆 |
| 分类号 | G06F17/30(2006.01)I | 主分类号 | G06F17/30(2006.01)I |
| 代理机构 | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人 | 王术兰 |
| 主权项 | 一种大数据清洗方法，其特征在于，包括：对清洗流程进行配置定义；对清洗流程进行解析，将清洗流程转换为Spark的原子操作；将清洗任务提交至Spark集群；由Spark集群进行数据清洗。 | ||
| 地址 | 100000 北京市朝阳区阜通东大街1号望京SOHO塔二C座26层 | ||