一种基于Spark语义的数据重用方法及其系统

摘要

本发明提供一种基于Spark语义的数据重用方法，其中，所述方法包括：语义信息收集步骤、收集Spark应用运行时的语义信息；语义维护步骤、维护来自所述语义信息收集步骤所收集到的语义信息；数据主动缓存步骤、根据所述语义信息和预设的阈值模型缓存未被用户程序显式缓存的数据；缓存数据迁移步骤、根据所述语义信息和预设的阈值模型将缓存数据在动态随机存取存储器与固定存储器之间迁移。本发明还提供一种基于Spark语义的数据重用系统。本发明提供的技术方案能减少重复数据计算，提升计算效率，有效避免了对开发人员经验的依赖。

主权项

一种基于Spark语义的数据重用方法，其特征在于，所述方法包括：语义信息收集步骤、收集Spark应用运行时的语义信息；语义维护步骤、维护来自所述语义信息收集步骤所收集到的语义信息；数据主动缓存步骤、根据所述语义信息和预设的阈值模型缓存未被用户程序显式缓存的数据；缓存数据迁移步骤、根据所述语义信息和预设的阈值模型将缓存数据在动态随机存取存储器与固定存储器之间迁移。