一种实时工业过程大数据压缩存储系统及方法

摘要

本发明提供一种实时工业过程大数据压缩存储系统及方法，涉及大数据分析技术领域。包括数据采集模块、日志文件存储模块、内存缓存模块、数据压缩模块、非关系型数据库和渲染器，利用数据采集模块采集实时工业过程数据，并同步发送到内存缓存模块和日志文件存储模块，对内存缓存模块中的数据进行压缩，将压缩后的数据存储到非关系型数据库中。本发明能有效解决实时工业过程大数据的存储问题，对实时工业过程大数据最大化压缩，并采用非关系型数据库进行存储，既有效地解决对实时工业过程数据的存储，又能为企业节省存储实时工业过程大数据产生的巨额成本，并可以快速响应数据的在线查询、计算等。

主权项

一种实时工业过程大数据压缩存储系统，其特征在于，包括数据采集模块(1)、日志文件存储模块、内存缓存模块、数据压缩模块(2)、非关系型数据库和渲染器；所述数据采集模块(1)，用于采集实时工业过程数据，包括电子测量仪、PLC和采集客户端；电子测量仪，用于采集每个工业生产现场的生产数据，并发送到PLC；PLC用于逻辑控制和生产数据的采集；采集客户端用于将生产数据发送到内存缓存模块；所述日志文件存储模块，用于将采集客户端发送到内存缓存模块的数据写入磁盘，进行数据的持久化，以防止内存缓存模块失效而导致数据丢失；当内存缓存模块因失效而导致数据丢失的时候，日志文件存储模块会向内存缓存模块发送因内存缓存模块失效而丢失的数据，以确保生产数据不在内存缓存模块丢失；当内存缓存模块数据经过数据压缩模块(2)压缩存储后，日志文件存储模块中对应的数据将会被删除；所述内存缓存模块，用于存储采集客户端发送的实时工业过程数据，一方面供渲染器直接读取内存缓存模块中的数据，满足实时性查询、计算需求，另一方面，为数据压缩模块(2)提供内存数据进行压缩；所述数据压缩模块(2)，用于对内存缓存模块中的实时工业过程数据按设定数据块大小进行压缩，包括块设定模块和压缩模块；所述设定模块用于设定所有采集数据项被用来进行一次数据压缩所采集的次数，即数据块的大小；所述压缩模块用于利用数据压缩方法对采集的工业过程数据进行压缩处理；所述非关系型数据库，是面向列存储的数据库，用于存储经数据压缩模块(2)压缩后的大规模实时工业过程数据；所述渲染器，用于从内存缓存模块或非关系型数据库中读取数据，然后进行在线数据查询、计算、分析或可视化。