分布式文件系统中的数据的并行访问

摘要

从分布式文件系统(110)并行访问数据的方法通过创建多个并行数据流使得期望单元的所有数据分区到多个流上来提供对文件系统中的一个或更多命名单元(例如，文件)的并行访问。在一些例子中，多个流形成计算系统(130)(诸如基于图形的计算系统、基于数据流的系统和/或(例如，关系)数据库系统)的并行实现的多个输入。

主权项

一种用于处理数据的方法，所述方法包括：接收存储在分布式处理系统的分布式文件系统中的一个或更多命名单元的指定；接收用于与和所述分布式处理系统分离的计算系统建立数据连接的指定；在所述分布式处理系统上调用多个第一过程，所述多个第一过程的每一个过程与所述分布式文件系统的存储元建立数据连接，用于访问所述分布式文件系统中的命名单元的相应部分；使用用于建立数据连接的指定在所述分布式处理系统与所述计算系统之间形成多个数据连接，在所述多个第一过程的每一个过程与所述计算系统之间形成至少一个数据连接；以及通过所述多个数据连接将数据从所述分布式处理系统同时传递到所述计算系统。