用于提供高性能可缩放文件I/O的系统和方法

摘要

一种实现大规模并行文件I/O处理的方法包括：将处理节点分离为专用于计算的计算节点和I/O节点(限于运行I/O守护进程的计算机处理器)；将计算节点和I/O节点组织为处理集合，其包括对应于多个计算节点的一个专用I/O节点。I/O相关的系统调用在计算节点中接收到，然后被发送到对应I/O节点。I/O相关的系统调用通过驻留在I/O节点上的系统I/O守护进程被处理。多个计算节点均匀分布在参与的处理集合上。另外，对于集中式I/O操作，来自每个处理集合的计算节点被指派为用于向其对应I/O节点发出I/O请求的I/O聚集器，I/O聚集器均匀分布在处理集合上。另外，文件域使用集中式缓冲技术来分割，其中，数据在写入文件之前被聚集到存储器中；已分割文件域的部分被指派给处理集合。

主权项

1.一种用于实现大规模并行文件输入/输出处理的方法，所述方法包括以下步骤：将处理节点分离为计算节点和输入/输出节点，其中，计算节点是专用于计算的计算机处理器，以及输入/输出节点是限于运行输入/输出守护进程的计算机处理器；将所述计算节点和所述输入/输出节点组织为处理集合，所述处理集合包括：对应于多个计算节点的一个专用输入/输出节点，其中，所述多个计算节点均匀地分布在参与的处理集合上；将来自每个处理集合的计算节点指派为变成用于向其对应输入/输出节点发出输入/输出请求的输入/输出聚集器，其中，所述输入/输出聚集器均匀地分布在所述处理集合上；使用集中式缓冲技术分割文件域，其中，数据在写入文件之前被聚集到存储器中；将已分割文件域的部分指派给处理集合；在所述计算节点中接收输入/输出相关的系统调用；将所述输入/输出相关的系统调用发送到对应的输入/输出节点；以及通过驻留在所述输入/输出节点中的系统输入/输出守护进程处理所述输入/输出相关的系统调用。