| 主权项 |
一种在快速数据管理系统实现高效数据压缩的方法，数据压缩模块对采集到的过程数据进行高效的压缩，最终形成二进制数据文件；压缩的算法包括参从数据类型、阈值自适应的变点存储和数据时间戳三个方面进行；首先是数据类型的压缩，数据的类型决定数据占内存的字节数和取值范围，在采集的过程数据中，都是整型int和浮点型float，单精度的实型，使用四个字节空间存储，取值范围为10‑38～10+38，数据的有效位数为7位数字；而对于双精度实型，使用八个字节空间存储，取值范围为10‑308～10+308，数据的有效位数为15位数字；无疑，如果按照这样存储的方式进行存储，会带来极大存储空间的浪费；其特征在于，压缩步骤如下：(1)根据过程数据的数据类型和取值范围对数据进行类型的基本压缩对于BOOL型数据，按照一个字节进行存储，对于float型和long型数据，在精度允许范围内，我们转换成short类型进行存储，将存储空间从4字节有效的降低为2字节；(2)采用阈值自适应的变点存储方法：对每个过程数据，都会有最大值和最小值；结合最大值和最小值的范围设定阈值，每个采样周期，系统对采集到的数据与前一个采样周期的数据进行对比，如果两个数的差小于阈值，则认为该数未发生变化，在该采样周期不对该数进行采集，只有当前采样周期的数值与上一个采样数据的大小差超过阈值的时候我们才对该数进行存储；同时，结合过程数据采集的过程中的范围，对阈值说的大小进行不断的修正和自学习，以达到阈值的最佳取值；(3)采用段页式时间存储法：首先，选择一个时间基准点，称为段时间T0，该时间我们称为标准时间戳；从段时间T0开始，对于该周期的时间戳，选取他与段时间的间隔，称为页时间，也就是时间偏移量；段时间在存储的时候占有8字节，而页时间为short类型，只占2字节；数据压缩率进一步得到提高。 |
