支持海量小文件和动态备份数的数字图书馆存储系统的构建方法

摘要

本发明公开了一种支持海量小文件和动态备份数的数字图书馆存储系统的构建方法，包括以下三部分内容：(1)系统的构建采用采用两层体系架构，即传输层和存储层；传输层主要用于存储层与数字图书馆门户之间的数据传输，负载均衡、缓存以及预取等策略均在此层实现；而存储层主要负责数据的存储，由普通服务器搭建的分布式文件系统和高可靠性存储组成。(2)采用打包策略，将同一本书的书页打包。(3)根据图书的大小和访问频率，动态计算每本图书的备份数。本发明将普通服务器构成的分布式文件系统与高可靠性存储结合起来提供数据的存储服务，既保证了数据的可靠性，又保证了数据的可用性；将小文件打包存储，减少了小文件数量，提高了系统性能；根据文件大小和文件访问频率计算文件的备份数，提高了系统的整体可用性。

主权项

一种支持海量小文件和动态备份数的数字图书馆存储系统的构建方法，其特征在于包括如下步骤：1)采用由传输层和存储层构成的两层体系架构实现数字图书馆门户访问文件过程，传输层由代理服务器和代理管理器组成，代理服务器负责从存储层读取数据，然后缓存在本地，代理管理器用来管理各代理服务器，维护每个代理服务器的负载、缓存摘要以及心跳信息，用于负载均衡、请求转发以及代理服务器管理；传输层主要负责存储层与数字图书馆门户之间的数据传输，并在此层实现负载均衡、缓存以及预取，而存储层主要负责数据的存储，由分布式文件系统和高可靠性存储组成，保持整个系统同时具有高可靠性和可用性；2)采用打包方式处理海量小文件，为每本书包含的大量小书页文件生成一个大文件存放在存储系统中，同时在大文件头上生成小文件的索引，用于小文件的随机访问；3)基于文件大小和文件访问频率动态计算文件的备份数。