一种分布式文件传输服务方法

摘要

本发明提供一种分布式文件传输服务方法,用于文件的单个或批量上传、下载服务，旨在解决文件传输服务在并发传输以及传输效率方面的瓶颈问题。本发明包括：(1)客户端应用接口；(2)服务端中转服务；(3)服务端分布式文件处理服务,采用本发明的方法可以有效的解决大批量文件同时上传、下载时出现在并发数量以及服务效率的瓶颈问题；采用订阅服务接口以及统一的中转服务接口，避免了文件传输服务在某些特殊应用环境下通信端口号无法显式获取而导致服务失败的弊端，保障服务安全有效的进行。

主权项

一种分布式文件传输服务方法，其特征在于，采用一台中转服务器进行调度，采用多台资源服务器提供分布式文件服务，将任务量分配到多台资源服务器中，从而解决大批量文件同时上传、下载时在并发量以及服务效率方面的瓶颈问题，由于中转服务器只接收很小的指令信息，则中转服务器能够处理的并发量约为20M/0.1K = 200000,实际文件服务将分发到集群的资源服务器中，实际文件传输服务中提高客户满意传输速率，由以前的10K /s 提高到400k/s将不会影响中转服务器的任务并发量，增加集群中资源服务器的数量，将提高文件传输服务速率，同理，当一台中转服务器无法达到实际应用需要的并发量时，可通过集群的方式代替单个中转服务器完成调度任务以及处理超大批量并发任务，这样达到某个特定满意度的并发量，其计算公式如下：总并发量 = 中转服务器数目*客户满意速率下单中转服务器的并发量另外， TCP/IP协议发送100个字节左右大小的指令报文所用的时间（Tcmd）为微秒级，大小为4M的文件传输时间（Tfile）为几秒到几十秒，Tcmd << Tfile，指令消息的发送所消耗的时间不会给文件传输服务的效率产生明显的影响；分布式文件传输实现步骤如下：1）客户端订阅接口客户端订阅接口为客户提供文件传输服务的订阅请求接口，客户端通过订阅接口向服务端发送文件服务请求，并等待服务端回返的消息，从服务端回返消息中解析出为本次请求服务提供服务的服务方地址，客户端重新与该服务方直接建立通信并请求服务；在TCP/IP协议下，客户端通过订阅接口向服务端申请建立socket连接，连接建立后，通过该连接向服务端发送文件传输服务请求，请求发送后，该连接将保持连接状态，直到客户端主动断开服务；2）服务端中转服务服务端中转服务运行在服务端中转服务器上，包括：一是，接收客户端的订阅请求并转发给服务端分布式处理服务；二是，接收服务端分布式处理服务对订阅请求服务返回的处理结果，并将该处理结果返回给该订阅请求的客户端；服务端中转服务接收到客户端的订阅请求后，对请求信息进行解析，获取并登记该订阅者的订阅服务码以及通信地址，为满足特殊应用环境下的应用，如果采用TCP/IP协议接收到客户端请求，则服务端中转服务将记录该订阅请求采用的socket连接，并采用该连接向客户端回返服务请求处理结果；服务端中转服务如果接收到订阅服务回返消息，对消息进行解析获取该消息的订阅服务码，并根据该服务码在注册登记表中查找该服务码所对应的订阅请求者地址信息，通过该地址信息，将订阅处理结果回返给客户端订阅请求者；           3）服务端分布式处理服务服务端分布式处理服务运行在服务端各资源服务器上，该服务接收中转服务转发过来的订阅请求，对消息解析后，通过Storm分布式服务处理方法对订阅请求进行实时处理，获取本次订阅请求的服务提供方信息，并将处理结果回返给服务端中转服务。