一种GPU上数据流处理系统及其数据流处理方法

摘要

本发明公开了一种GPU上数据流处理系统及其数据流处理方法，属于GPU上数据流处理的技术领域，一种GPU上数据流处理系统，数据源的数据流通过数据流处理系统至客户端，数据流处理系统包括CPU主机和GPU设备；CPU主机包括CPU端加载引擎模块、CPU端缓冲模块、数据流预处理模块、数据流减负模块和可视化模块；GPU设备包括GPU端加载引擎模块、GPU端缓冲模块、数据流概要抽取模块、数据流处理模型库和数据流处理模块；CPU端加载引擎模块的装载或存储单元通过互联网络与数据源、GPU端加载引擎模块的装载或存储单元以及客户端的交互。本发明具有显著的速度优势，很好地满足了高维数据流的实时性需求，可以作为通用的分析方法广泛应用于高维数据流挖掘领域。

主权项

一种GPU上数据流处理系统，其特征在于数据源的数据流通过数据流处理系统至客户端，数据流处理系统包括CPU主机和GPU设备；CPU主机包括CPU端加载引擎模块、CPU端缓冲模块、数据流预处理模块、数据流减负模块和可视化模块，CPU端加载引擎模块设置有装载或存储单元，CPU端缓冲模块设置有内存，CPU端加载引擎模块的装载或存储单元、数据流预处理模块、数据流减负模块和可视化模块均与CPU端缓冲模块的内存连接交互，CPU端加载引擎模块的装载或存储单元与可视化模块连接交互；GPU设备包括GPU端加载引擎模块、GPU端缓冲模块、数据流概要抽取模块、数据流处理模型库和数据流处理模块，GPU端加载引擎模块设置有装载或存储单元，GPU端缓冲模块设置有显存，数据流概要抽取模块用于集成概要抽取方法供数据流处理模块调用，数据流处理模型库用于集成数据流处理算法供数据流处理模块调用，GPU端加载引擎模块的装载或存储单元、数据流处理模块均与GPU端缓冲模块的显存连接交互，数据流概要抽取模块、数据流处理模型库均与GPU端加载引擎模块的装载或存储单元连接，GPU端缓冲模块的显存中开辟有存储空间为滑动窗口；CPU端加载引擎模块的装载或存储单元通过互联网络与数据源、GPU端加载引擎模块的装载或存储单元以及客户端的交互；CPU端加载引擎模块的装载或存储单元用于将数据源的数据流存储到CPU端缓冲模块的内存中，并用于将内存回传的预处理过的数据流经互联网络送达GPU端加载引擎模块的装载或存储单元，并用于将GPU端加载引擎模块的装载或存储单元回传的数据结果加载到内存，并用于将数据结果发送给可视化模块，并用于将可视化模块规范化后的数据结果展示给客户端；数据流预处理模块用于将CPU端缓冲模块的内存中的原始数据流进行预处理，并把预处理过的数据流存入内存；CPU端缓冲模块的内存用于与CPU端加载引擎模块的装载或存储单元进行交互，并用于和数据流预处理模块进行交互；GPU端加载引擎模块的装载或存储单元用于将CPU端加载引擎模块的装载或存储单元经过互联网络传输过来的预处理过的数据流加载到GPU端缓冲模块的显存的滑动窗口中，并用于将显存回传的数据结果经互联网络送达至CPU端加载引擎模块的装载或存储单元；数据流处理模块用于调用数据流概要抽取模块中的概要抽取方法，对滑动窗口中的数据流进行概要抽取，并将最终形成的概要数据结构存储到显存中；并且数据流处理模块用于调用数据流处理模型库中的数据流处理算法对概要数据进行处理，并把处理的数据结果存储到显存；GPU端缓冲模块的显存用于与GPU端加载引擎模块的装载或存储单元进行交互，并用于和数据流处理模块进行交互；可视化模块用于将数据结果规范化之后发送给CPU端加载引擎模块的装载或存储单元。