基于分布式系统的智能数据服务方法

摘要

本发明提供了一种基于分布式系统的智能数据服务方法。利用分布式系统的主节点管理全局文件命名空间；并且，在向分布式系统写入文件的流程、从分布式系统读取文件的流程、以及从分布式系统读取文件的流程中，利用分布式系统的主节点对客户端的请求进行分析处理，选择具体的数据预处理程序，分发到分布式系统的从节点以进行后续的数据预处理和传输操作。本发明能够在数据密集型应用环境下，将现有的分布式系统存储空间快速聚合；而且，本发明充分利用分布式系统计算资源，能够根据外部计算设备的需求智能地提供数据服务；并且，本发明将部分数据处理负载从外部计算设备转移到分布式系统中，从而减少向外部计算设备提供数据服务的带宽需求。

主权项

一种基于分布式系统的智能数据服务方法，其特征在于包括：利用分布式系统的包括数据预处理分析引擎的主节点管理全局文件命名空间；并且，在向分布式系统写入文件的流程、以及从分布式系统读取文件的流程中，利用分布式系统的包括数据预处理分析引擎的主节点对客户端的请求进行分析处理，选择具体的数据预处理程序，分发到分布式系统的包括数据预处理引擎的从节点以进行后续的数据预处理和传输操作；在基于分布式系统的智能数据服务方法中，对分布式系统内部的数据进行多次预处理，并且不将预处理后的数据导出分布式系统；而且，包括数据预处理分析引擎的主节点监测并管理包括数据预处理引擎的从节点的正常运行，保存并更新所有包括数据预处理引擎的从节点数据存储的文件元数据，以及提供客户端对数据请求的响应；其中，在分布式系统中，数据按照原始数据的形式进行存储，不对文件进行分块存储；其中，向分布式系统写入文件的流程包括：第一写入步骤：客户端向包括数据预处理分析引擎的主节点询问需要写入的文件是否在分布式系统中存在；第二写入步骤：如果需要写入的文件存在于分布式系统中，包括数据预处理分析引擎的主节点向客户端发送文件元数据，其中包括文件的信息和文件所处的从节点信息，向分布式系统写入文件的流程进入第三写入步骤；如果需要写入的文件不存在于分布式系统中，包括数据预处理分析引擎的主节点向客户端返回可写入文件的从节点列表；第三写入步骤：客户端根据第二写入步骤返回的文件元数据及从节点信息向其中一个包括数据预处理引擎的从节点写入文件；第四写入步骤：包括数据预处理引擎的从节点接收客户端数据流并写入文件，如果成功完成向包括数据预处理分析引擎的主节点发送成功信息，并同时向客户端发送确认信息，客户端收到确认信息后完成操作；如果确认信息不成功，重复第二写入步骤的操作；第五写入步骤：包括数据预处理分析引擎的主节点收到包括数据预处理引擎的从节点完成数据写入的信息后更新文件元数据；其中，从分布式系统读取文件的流程包括：第一读取步骤：客户端向包括数据预处理分析引擎的主节点发送数据请求，其中包括文件路径和所需要的预处理；第二读取步骤：包括数据预处理分析引擎的主节点对客户端的数据请求进行分析，确定所需文件所处的包括数据预处理引擎的从节点和所需要的预处理程序，并且向客户端返回中间数据所处的包括数据预处理引擎的从节点；第三读取步骤：客户端直接向中间数据所处的包括数据预处理引擎的从节点进行数据请求，包括数据预处理引擎的从节点根据数据预处理的情况返回给客户端所需数据；而且其中，对分布式系统内部的数据进行多次预处理中的每次预处理的流程包括：第一预处理步骤：客户端向包括数据预处理分析引擎的主节点发送数据预处理操作请求，并根据需要编写更加复杂的数据预处理程序；第二预处理步骤：包括数据预处理分析引擎的主节点根据数据预处理操作请求指定包括数据预处理引擎的从节点通过数据预处理引擎对本地文件进行数据预处理，包括数据预处理引擎的从节点完成后发送给包括数据预处理分析引擎的主节点成功信息；第三预处理步骤：包括数据预处理分析引擎的主节点根据包括数据预处理引擎的从节点发送的成功信息更新文件元数据；其中，包括数据预处理分析引擎的主节点维持分布式系统的全局文件系统的目录。