发明名称 |
一种批量数据处理的流水线作业方法及装置 |
摘要 |
本发明提供了一种批量数据处理的流水线作业方法及装置。其方法包括:接收数据管理系统发送的数据处理任务;将所述数据处理任务分解为多个子任务;根据所述多个子任务生成多个任务线程,其中,所述多个任务线程能够并行处理;分别将所述多个子任务分配到所述多个任务线程上进行差异化处理。本发明解决了传统的大批量数据处理具有处理的质量和效率较低的技术问题,具有操作性好、稳定性强、并发以及扩展性较佳的特点。 |
申请公布号 |
CN105892996A |
申请公布日期 |
2016.08.24 |
申请号 |
CN201510926048.X |
申请日期 |
2015.12.14 |
申请人 |
乐视网信息技术(北京)股份有限公司 |
发明人 |
解智 |
分类号 |
G06F9/38(2006.01)I;G06F9/48(2006.01)I |
主分类号 |
G06F9/38(2006.01)I |
代理机构 |
北京国昊天诚知识产权代理有限公司 11315 |
代理人 |
刘戈 |
主权项 |
一种批量数据处理的流水线作业方法,其特征在于,包括:接收数据管理系统发送的数据处理任务;将所述数据处理任务分解为多个子任务;根据所述多个子任务生成多个任务线程,其中,所述多个任务线程能够并行处理;分别将所述多个子任务分配到所述多个任务线程上进行差异化处理。 |
地址 |
100089 北京市海淀区学院南路68号19号楼六层6184号房间 |