一种采用二次缓冲技术的信息系统数据同步处理方法

摘要

一种采用二次缓冲技术的信息系统数据同步处理方法,包括如下方式:（1）采用统一的数据格式对信息通道内的数据进行封装，通过帧头封装信息的处理方法实现同步数据与其对应信息通道的映射;（2）使用二次缓冲处理机制的多线程数据同步方法，该方法实现对高速率、多通道信息的数据同步;（3）进行信息数据同步之后数据的使用、处理方法。优点1：数据同步适应性好。优点2：使用该方法的同步处理性能更好。优点3：该数据同步方法更可靠、更稳定。优点4：数据同步的精度高。优点5：数据同步的独立性好，可还原性强，对用户透明。

主权项

一种采用二次缓冲技术的信息系统数据同步处理方法,其特征在于:包括如下步骤:步骤1：在信息同步处理机任务中，需要同步的信息按照不同的处理线程进行划分，实际处理时，从信息接收网卡定义的socket套接字接收不同通道的数据报文，处理线程将判断网卡IP地址、组播地址、端口，数据报标识信息，剥离出需要同步的单路数据，对所述需要同步的单路数据进行原始数据的信息封装；步骤2：处理机在对多个信息通道数据进行处理时，设置多个一级缓冲队列和处理线程，多通道数据的处理采用并行方式进行，第一次缓冲的目的是针对网络接收的原始数据进行同步属性记录和缓存，避免在数据率过高的条件下，数据在网络处理这个阶段就出现丢失的情况；步骤3：在数据进行第一次缓冲处理的末尾阶段，依据本路信息通道的数据率进行累计数据分段处理，数据分段时，设置数据分段的大小，并对打包数据进行累加计数；步骤4：用户可根据系统性能要求，对数据分段策略进行判断，可只判断分段数据大小、也可判断封装帧的累加计数值，或者两者都判断；当分段条件满足时，则准备进行第二次数据缓冲，数据分段的主要目的是考虑在较高的数据速率的条件下，适当降低线程调度频率，提高数据同步效率；步骤5：完成第一次缓冲后的数据段，在压入第二级缓冲队列的过程中，操作系统对数据接收子线程进行轮询调度，将并行的多路数据压入二级缓冲队列，实现并行数据的同步序列化，对数据进行第二次缓冲，是为保证信息在同步之后进行输出时，不会因为同步数据的使用端在短时间内性能不足，而造成数据段堆积溢出，因此，二级缓冲队列设置的容量较大，可有效保护数据，提升数据同步的性能，达到将数据平稳输出的目的；步骤6：在第二次数据缓冲处理末尾处，分段数据弹出，进行分段数据分解处理，经过分解处理，可将其还原成多个自定义封装数据帧，该数据帧即为之前封装的原始数据。