一种面向大数据的针对可变长度特征提取的自适应并行处理方法

摘要

本发明公开了一种面向大数据的针对可变长度特征提取的自适应并行处理方法，该方法是针对可变长度的特征数据，采用基于CUDA的架构，利用GPU并行计算能力对大数据进行处理。在处理大数据时，根据自身硬件特性和特征数据的长度，自适应的采用可并行化的矩阵数组处理方式，对数据进行多线程并发执行处理，从而加快特征提取的速度。本发明所采用的自适应调整是根据硬件自身的处理能力和特征数据的长度，分批对数据进行处理，每次进行一定长度的特征提取，并记录匹配结果；等待整个特征提取完成后，根据数据采样所允许的容错率，再处理所有匹配结果，最后得出符合要求的特征提取结果。该方法利用矩阵数组具有的良好可并行性，针对可变长度的特征提取，能够有效、充分地将数据处理并行化，特别适用于具有一定容错性的大数据快速特征提取。

主权项

一种面向大数据的针对可变长度特征提取的自适应并行处理方法，其特征在于：该处理方法包含以下步骤：步骤1：在处理大数据时，根据硬件自身处理能力和特征数据的长度，主机将特征提取任务分为N（N≥1）个子任务执行，每个子任务对来自大数据中的任务数据并行执行一定长度的特征提取；步骤2：在GPU上为任务数据分配存储空间，并将其传递至GPU中；步骤3：将子任务所需的部分特征数据传递至GPU中，根据所要处理的任务数据和该部分特征数据，并行构建一个具有良好并行性的矩阵数组；步骤4：通过采用并行处理矩阵数组的方式，对矩阵数组进行多线程并发执行特征匹配，并将此结果返回给主机，释放GPU中无用的内存空间；步骤5：重复步骤3、4，直到完成该任务数据对第N个子任务中部分特征数据的匹配；步骤6：主机将根据特征数据采样所允许的一定的容错率，处理上述N部分返回结果，得出符合要求的特征提取结果。