一种数据下载系统及其数据管理和下载方法

摘要

本发明涉及互联网信息技术领域，具体涉及一种支持离线及协同操作的数据下载系统及其数据管理和下载方法。本发明每个客户端作为整个数据下载系统的探针从互联网中收集不同的下载源，各种下载源信息全部存入云下载中心的下载元数据库；用户使用下载源进行下载时，文件的元数据信息，包括类型、描述信息、关键字、长度、MD5码相关信息也全部存入下载元数据库；用户下载时，客户端从云下载中心的下载元数据库中获取各下载源信息，基于不同协议从不同的下载源获取文件的片断，并在完成后由客户端把文件合成为最终的文件。本发明有效解决了下载速度等问题，可以广泛应用于互联网或系统内部的数据下载中。

主权项

一种数据下载系统，其特征在于：包括云下载中心、客户端和互联网下载源；所述的云下载中心由多个下载中心(C1、C2…，CN)组成，每个下载中心为下载客户端提供下载源信息，并存储互联网下载源的数据副本；所述的客户端可以是C/S结构客户端(D1、D2…，DX)或是B/S结构客户端节点(B1、B2…，BX)；所述的互联网下载源包含所有第三方提供的数据下载源(S1、S2…，SN)，云下载中心通过对下载源分析，对提供相同文件副本的下载源进行归并；任意一个所述的下载客户端可以同时从具有相同目标下载文件的互联网下载源(SI，SJ，…SM)，以及云下载中心中具有目标下载文件的一个或多个下载中心(CI，CJ，…CT)，以及具有相同目标下载文件的C/S结构下载客户端(DI，DJ，…，DZ)或B/S结构下载客户端(BI，BJ，…，BS)中下载文件；多个下载中心在地理上分布在多个不同的数据中心中；任意所述的下载中心由用户管理组件、用户数据库、下载链接管理组件、文件下载组件、服务空间组件、离线下载服务组件、下载元数据库管理组件、下载元数据库、下载数据副本管理组件、下载副本存储系统组成，各组件和模块可以独立或共同部署在一台或多台服务器上；用户管理组件用于对云下载中心的用户进行统一的管理，用户从客户端登录时与用户管理组件进行交互，以验证用户的合法性；用户所有下载操作都将被客户端记录，并上传到用户数据库；如果用户未登录或注册，客户端将为用户生成临时游客身份登录客户端；下载链接管理组件用于接收用户的下载链接请求，它直接将链接的查询、更新、删除操作请求转发给下载元数据库管理组件，下载元数据库管理组件直接操作下载元数据库，对存储在下载元数据库中的下载链接进行查询和更新；该组件接到用户的下载链接请求后，首先查询下载元数据库判断该链接是否已经存在于下载元数据库；如果已经存储于下载元数据库中，则查找与该链接关联的所有下载源，并将下载源集合提交给客户端的文件下载组件，由该组件同时从多个下载源进行下载；如果下载元数据库中不存在该链接，则返回空集合给下载客户端，客户端的文件下载组件下载该文件，并提取该文件MD5码，并将该MD5码返回给下载链接管理组件，下载链接管理组件查询下载元数据库判断是否有相同的MD5码存在于下载元数据库，如有则该MD5码对应文件的链接可以与其它下载元数据库中的下载链接归并；如没有相同的MD5码，则作为全新的下载链接存储于下载元数据库；文件下载组件支持多种协议下载包括P2P、FTP、HTTP及自定义多对一下载协议下载；它可以将文件下载任务分解到不同的下载源，同时从各下载源下载文件的不同部份，并在各部份完成后，把它们合成为一个文件；用于实现多对一下载，即支持从多个数据源并行下载；用于支持离线下载服务组件；下载的文件作为文件副本交由下载数据副本管理组件进行管理，文件副本存储于支持海量文件存储管理的下载副本存储系统；服务空间组件是B/S架构的用户信息管理，发布及更新组件；客户端用户信息、操作记录、历史信息、在线存储、离线下载均由服务空间组件进行管理和更新；服务空间组件引入文件标记、上下文管理、下载源评价/注释，以丰富用户体验；离线下载服务组件用于实现用户的离线下载任务，用户提交给离线下载服务组件的任务，不需要由用户客户端直接下载，而是由离线下载服务组件启动下载中心的文件下载组件进行下载，并在下载完成后，由用户客户端从下载中心取回。