海量数据高速缓存的方法及装置

摘要

本发明适用于数据处理技术领域，提供了一种海量数据高速缓存的方法及装置，该方法包括：将数据库中获取的原始数据转换成标准化的矩阵格式的数据，并将转换后的数据以mat文件格式缓存；在接收到用户的数据请求信息时，判断所缓存的mat文件中是否存在与所述数据请求信息相对应的全部数据；若否，利用统计模型算法，从所述数据库中获取缺失的数据；将所述缺失的数据转换成标准化的矩阵格式的数据后填充到所述mat文件中，并将填充后的所述mat文件中与所述数据请求信息相对应的数据反馈给所述用户；将所述缺失的数据转换成标准化的矩阵格式的数据后以mat文件格式缓存。通过本发明，可大量减少数据存储冗余，提高数据存储和读取的效率。

主权项

一种海量数据高速缓存的方法，其特征在于，所述方法包括：将数据库中获取的原始数据转换成标准化的矩阵格式的数据，并将转换后的数据以mat文件格式缓存；在接收到用户的数据请求信息时，判断所缓存的mat文件中是否存在与所述数据请求信息相对应的全部数据；若否，从所述数据库中获取缺失的数据，所述缺失的数据为所缓存的mat文件中缺失的与所述数据请求信息相对应的数据；将所述缺失的数据转换成标准化的矩阵格式的数据后填充到所述mat文件中，并将填充后的所述mat文件中与所述数据请求信息相对应的数据反馈给所述用户，所述mat文件为与所述数据请求信息相对应的文件；将所述缺失的数据转换成标准化的矩阵格式的数据后以mat文件格式缓存；从所述数据库中获取缺失的数据包括：以最大化命中率和完成率为目标函数，并通过聚类的方式获得最大化目标函数，根据所述最大化目标函数确定搜索的次数以及每次搜索的行列索引，并根据所述搜索的次数以及每次搜索的行列索引对所述数据库进行搜索以获取所述缺失的数据。