一种用于大数据处理的计算系统及计算方法

摘要

本发明涉及一种用于大数据处理的计算系统及方法，所述系统从下至上依次包括最底层模块、中间层模块和最高层模块，且中间层模块又包括消息传输模块和计算模型模块；最底层模块采用Hadoop分布式文件系统，用于存储数据；消息传输模块用于实现在不同计算节点运行的计算模型模块之间传递消息；在不同计算节点运行的计算模型模块根据所述消息传输模块传递的消息实现协同工作，并各自构建特定类型的计算模型来处理数据；最高层模块用于为计算模型提供编程接口，并以串行的方式组合不同计算模型表达的计算，同时设置不同计算模型之间基于内存流水线方式共享数据。本发明允许在一个系统内采用多种计算模型编写应用程序，能解决更复杂的问题。

主权项

一种用于大数据处理的计算系统，其特征在于，其运行于多个计算节点，且从下至上依次包括三层模块，分别为最底层模块、中间层模块和最高层模块，中间层模块又包括消息传输模块和计算模型模块：所述最底层模块，其采用Hadoop分布式文件系统，用于存储数据；所述消息传输模块，其用于实现在不同计算节点运行的计算模型模块之间传递消息；所述在不同计算节点运行的计算模型模块，其根据所述消息传输模块传递的消息实现协同工作，并各自构建特定类型的计算模型来处理从Hadoop分布式文件系统读取的数据；所述最高层模块，其用于为各特定类型的计算模型提供相应的编程接口，并以串行的方式组合不同计算模型表达的计算，同时设置不同计算模型之间基于内存流水线方式共享数据。