面向并行数据采集的分布式文件系统数据I/O优化方法

摘要

本发明公开了一种面向并行数据采集的分布式文件系统数据I/O优化方法，由客户端、数据服务器程序、元数据服务器程序组成的分布式文件系统与数据采集设备、数据采集程序集成部署于同一套硬件系统之上，包括以下步骤：S1：对分布式文件系统进行配置；S2：对数据采集程序、客户端、数据服务器和元数据服务器进行初始化；S3：数据采集程序向客户端直接发起请求，并写入数据；以及S4：通过分布式系统中的任一客户端访问数据。本发明具有如下优点：在现有分布式文件系统的基础上，提出一种新的硬件拓扑结构，并辅以特殊的算法和数据结构，对并行数据采集的I/O性能进行了一系列的优化，并提供了良好的可拓展性。

主权项

一种面向并行数据采集的分布式文件系统数据I/O优化方法，其特征在于，由客户端、数据服务器程序、元数据服务器程序组成的分布式文件系统与数据采集设备、数据采集程序集成部署于同一套硬件系统之上，所述方法包括以下步骤：S1：配置所述数据采集设备、所述数据采集程序、所述客户端、所述数据服务器程序和所述元数据服务器程序的物理位置；S2：对所述数据采集程序、所述客户端、所述数据服务器和所述元数据服务器进行初始化；S3：所述数据采集程序向所述客户端直接发起请求，并写入数据；以及S4：通过所述分布式系统中的任一客户端访问所述数据，其中，所述客户端提供获取所述数据存储位置的接口，在所述数据存储的节点上部署用户程序实现文件读操作的优化。