一种基于两级体系的分布式数据压缩处理方法

摘要

基于两级体系的分布式数据压缩处理方法在原有在服务器端进行数据压缩的基础上，提出在接口机进行压缩数据，到一定时间或一定量后上传服务器，服务器再累计到一定量后调用文件处理程序保存数据。把压缩的负载由一台服务器转移到多台接口机上，不仅减少了服务器的内存负载，减少了不必要的开销，使服务器对于实时数据的响应更加快捷，又合理的利用了网络中各结点的资源，达到资源的合理配置。而在接口机进行数据压缩再上传到服务器中的压缩方式，也大大的减少了网络中数据的传输，节约了网络资源。这种在接口机压缩数据再上传到服务器的方法将更加适合超大数据量的实时数据库的实现。

主权项

一种基于两级体系的分布式数据压缩处理方法，所述处理方法采用接口机和服务器两级压缩方式，其特征在于用户可以根据硬件环境和数据数量自定义压缩模式，所述分布式数据压缩处理方法包括以下步骤：(1)通过接口机采集底层控制系统的数据；(2)在接口机中对采集数据进行压缩；(3)在接口机中设置一级缓存，将压缩后的数据存入接口机中设置的一级缓存中；(4)当所述接口机中设置的一级缓存满或者达到设定的最大上传时间时，进入步骤(5)；(5)接口机将压缩后的数据打包上传至服务器中设置的二级缓存中，进入步骤(6)；(6)判断所述服务器中设置的二级缓存的存储状态，当二级缓存满或达到最大上传时间时，进入步骤(7)；(7)将二级缓存中的压缩数据写入磁盘文件中。