一种基于离线缓存文件操作集中记录预处理并重放的方法

摘要

本发明涉及分布式存储系统的元数据与文件操作管理方法技术领域，特别涉及一种基于离线缓存文件操作集中记录预处理并重放的方法。本发明采用文件系统操作日志和数据缓存日志的离线缓存机制。可以在多次连续追加写入之后，将数据缓存日志中对应的内容预处理，合并这些缓存，减少数据补齐读取操作，提升性能。本发明的一种基于离线缓存文件操作集中记录预处理并重放的方法，其能够减小与分布式文件系统各个服务器的网络通信，降低网络开销，避免不必要的操作，提升临时文件的操作性能。

主权项

一种基于离线缓存文件操作集中记录预处理并重放的方法，包括以下步骤：A、开辟缓存：在应用服务器端，开辟一个内核态缓存，用于记录所有针对文件的文件系统操作日志，包括文件的创建、属性修改、文件内容的增删改查操作，同时开辟一块缓存存放数据缓存日志，用于记录被操作的文件内容；记录文件操作：所有文件操作相关的系统调用，在操作系统内核态，都先记录在本地缓存中，而非直接与元数据服务器、存储服务器通信，所有针对元数据的操作，记录在文件系统操作日志中；针对文件内容的操作，记录在数据缓存日志中；B、应用服务器端对文件系统操作日志和数据缓存日志做预处理，删除并合并文件元数据相关操作和数据；C、应用服务器端将预处理后的文件系统操作日志上传至元数据服务器重放；将预处理后的数据缓存日志上传到对应的存储服务器中。