一种基于UDP分布式小文件存储系统及其数据处理方法

摘要

本发明公开了一种基于UDP分布式小文件存储系统及其数据处理方法，包括第一服务器、第二服务器、第三服务器、第四服务器和第五服务器，第一服务器含有对外服务器和服务监控服务器，第二服务器含有全局命名服务器和服务监控服务器，第三服务器含有信息索引库服务器和服务监控服务器，第四服务器含有任务管理服务器和服务监控服务器，第五服务器含有存储服务器和服务监控服务器；第一服务器、第二服务器、第三服务器、第四服务器和第五服务器的相互之间是通过UDP改装协议来实现数据的相互传递和处理。该系统利用UDP改装协议，来做为内部服务器的通信协议，可以提高整个平台的并发能力与高速I/O能力，解决了大容量存储和负载均衡的问题，特别适合以文件为载体的在线服务。

主权项

一种基于UDP分布式小文件存储系统，其特征在于：包括：一个或多个第一服务器，该第一服务器内包含有一个对外服务器和一个用来管理对外服务器的运行与停止、以及定时对对外服务器进行检查的服务监控服务器；该对外服务器，对外负责向其它系统及用户提供管理控制其文件和目录的接口，对内负责向其它服务器传送用户的命令，并检查命令执行状态，最后将命令执行结果反馈给用户；一个第二服务器，该第二服务器内包含有一个全局命名服务器和一个用来管理全局命名服务器的运行与停止、以及定时对全局命名服务器进行检查的服务监控服务器；该全局命名服务器设在客户应用和文件系统之间的一个逻辑层中，该全局命名服务器为每个新添加的文件分配一个唯一的内部名称；一个第三服务器，该第三服务器内包含有一个信息索引库服务器和一个用来管理信息索引库服务器的运行与停止、以及定时对信息索引库服务器进行检查的服务监控服务器；该信息索引库服务器与全局命名服务器一起组成位于客户应用和文件系统之间一个逻辑层，该信息索引库服务器采用NoSQL数据库，用来保存全局名称与文件存储的对应Kye‑Value数据、全局名称与用户路径的对应数据；一个第四服务器，该第四服务器内包含有一个任务管理服务器和一个用来管理任务管理服务器的运行与停止、以及定时对任务管理服务器进行检查的服务监控服务器；该任务管理服务器设为系统的控制中心，负责识别并解决任何容量问题，运行存储服务器负载平衡，优化存储服务器的使用，负责与对外服务器合作进行增加/删除文件；一个或多个第五服务器，该第五服务器内包含有一个存储服务器和一个用来管理存储服务器的运行与停止、以及定时对存储服务器进行检查的服务监控服务器；该存储服务器按照对外服务器与任务管理服务器的指令进行文件写入与读出；该第一服务器、第二服务器、第三服务器、第四服务器和第五服务器的相互之间是通过用户数据包协议来实现数据的相互传递和处理。