一种面向大数据的数据频度并行处理方法

摘要

本发明公开了一种面向大数据的数据频度并行处理方法，该方法在CUDA环境下把对大数据的数据频度统计以并行方式处理，从而降低处理时间。用户提供目标数据流，在接收到数据后，对数据进行读取，提取有效数据并做一些预处理，使其易于在GPU上以并行化方式处理；对处理后的数据进行任务块划分，并行化处理任务块。该处理方法中利用GPU并行特点，合理的任务划分，CPU与GPU协作处理，根据数据流的接收速度动态设置并发速度，保持接收与处理的一致性，具有很好的透明性、体验性和自适应性，高效可靠，特别适用于数据规模较大的数据频度统计处理中。

主权项

一种面向大数据的数据频度并行处理方法，在CUDA环境下把要处理的数据进行任务块划分实现并行化，其特征在于包括以下步骤：步骤1：接收数据，对数据预处理；步骤2：定义各状态变量；步骤3：将数据由CPU传输到GPU端；步骤4：在GPU上划分任务，并根据任务分配情况动态设置并发速度；步骤5：在CUDA环境下并行发射任务，在device端利用GPU的并行性特点处理数据，统计特征数据频度。