数据扫描方法和装置

摘要

本发明提供一种数据扫描方法和装置，该方法可以包括：获取当前任务对应的数据表的子集信息；根据子集信息，判断当前任务中包含的各扫描指令在查询数据表时覆盖的子集；与被覆盖的子集一一对应地启动相应的扫描进程，以进行数据扫描。通过本发明可以减少分析任务总体Map数量，从而减少任务调度方面的开销与延迟，提升任务整体分析性能。

主权项

一种数据扫描方法，其特征在于，包括：获取当前任务对应的数据表的子集信息；根据所述子集信息，判断所述当前任务中包含的各扫描指令在查询所述数据表时覆盖的子集；与被覆盖的子集一一对应地启动相应的扫描进程，以进行数据扫描。