一种海量数据的实时传输处理方法、服务器及处理系统

摘要

本发明公开了一种海量数据的实时传输处理方法、服务器及处理系统，其中，所述海量数据的实时传输处理方法，包括接收客户端的基于数据单向传输协议发送来的数据；将接收的数据写入消息中间件中进行缓存，来保证数据在传输过程中的完整性；启动消费线程组，消费线程组中的各个消费线程启动后均处于空闲等待任务状态；从消息中间件中取出数据，并转化成处理任务分配至消费线程组中的各个消费线程中进行处理；将每个消费线程处理任务完成后的结果数据保存至缓存队列中；启动工作线程组，从缓存队列中获取结果数据并批量存储至数据库中。

主权项

一种海量数据的实时传输处理方法，其特征在于，包括：接收客户端的基于数据单向传输协议发送来的数据；将接收的数据写入消息中间件中进行缓存，来保证数据在传输过程中的完整性；启动消费线程组，消费线程组中的各个消费线程启动后均处于空闲等待任务状态；从消息中间件中取出数据，并转化成处理任务分配至消费线程组中的各个消费线程中进行处理；将每个消费线程处理任务完成后的结果数据保存至缓存队列中；启动工作线程组，从缓存队列中获取结果数据并批量存储至数据库中。