一种海量数据的处理方法及处理装置

摘要

本发明提供了一种海量数据的处理方法及处理装置，该方法包括：设置一数据文件及索引文件，数据文件包括至少一个文件数据块，每个文件数据块的长度相等；索引文件与数据文件相对应，包括各数据对象在数据文件中的地址偏移；在存入数据对象时，如果游标当前指向的文件数据块的剩余空间不够存储待存储的数据对象，则在待存储的数据对象将剩余空间填满后，数据文件向系统申请一块或多块新文件数据块，并将待存储数据对象中还未存入的剩余数据存入到新文件数据块中，并在索引文件中记录新存入数据对象的地址偏移；通过将游标指向欲读取的数据对象的地址偏移来读取数据文件中存储的数据对象。利用该技术方案，提高了对海量数据的存取效率。

主权项

一种海量数据的处理方法，其特征在于，包括：设置一数据文件及索引文件，所述数据文件用于存储数据对象，所述数据文件包括至少一个文件数据块，所述数据文件中、每个文件数据块的长度相等；所述索引文件与所述数据文件相对应，所述索引文件包括所述数据文件中存储的每个数据对象在所述数据文件中的地址偏移；在将数据对象存入所述数据文件时，判断所述数据文件中、游标当前指向的文件数据块的剩余空间是否足够存储待存储的数据对象；如是，则将所述待存储的数据对象存入所述剩余空间，并在所述索引文件中记录新存入数据对象的地址偏移；否则，在所述待存储的数据对象将所述剩余空间填满后，所述数据文件向系统申请一块或多块新文件数据块，并将所述待存储数据对象中还未存入的剩余数据存入到所述新文件数据块中，并在所述索引文件中记录所述新存入数据对象的地址偏移；通过将所述游标指向欲读取的数据对象的地址偏移来读取所述数据文件中存储的数据对象；所述数据文件中的文件数据块的长度为：系统设定的最小分配粒度的整数倍。