一种高效的本地缓存管理及读写方法

摘要

一种高效的本地缓存管理及读写方法，将多个物理存储文件大小按照指定数值，例如128M的倍数递增的方式来创建文件可以满足长度不固定的数据块的存储，每个物理存储文件头部开辟固定大小的空间用于存储该文件包含的所有数据块的数据结构，对大数据切割成多个分片，分别对每个分片取一定长度的数据来生成MD5。本发明避免文件分布不均造成的文件碎片多，使用率低的问题，解决了占用系统资源高的问题，提高了数据加载的效率，并且极大的提高了校验效率，并能够确保整个文件的正确性。

主权项

一种本地缓存管理及读写方法，其特征在于：建立多个物理存储文件，每个文件的大小按128M字节的倍数递增，最大值不超过1G字节，数据块的存储根据数据块的长度选择最接近的文件进行存储。