一种旅客行为数据分布式处理方法及系统

摘要

本发明涉及航空数据处理领域，具体涉及一种旅客行为数据分布式处理方法及系统。本发明实施例方法包括：分布式控制中心接收客户端发出的计算任务；客户端将计算资源包存入分布式集群；分布式控制中心获取输入分割信息；分布式控制中心向第一计算节点下发map计算任务，并向第二计算节点下发reduce计算任务；第一计算节执行map计算任务生成第二旅客行为数据；第二计算节点执行reduce计算任务生成目标旅客行为数据并存入分布式集群。本发明实施例采用多台服务器集群进行map/reduce的分布式计算，能够快速有效的获取旅客行为数据，并且能准确的分析旅客的行为数据，大大提高旅客行为分析的效率。

主权项

一种旅客行为数据分布式处理方法，其特征在于，包括：分布式控制中心接收客户端发出的计算任务；所述计算任务基于第一旅客行为数据；所述客户端将所述计算任务对应的计算资源包存入分布式集群；所述分布式控制中心根据所述计算任务从所述分布式集群中获取所述计算资源包的输入分割信息，所述输入分割信息用于指示所述计算资源包被分割后的子资源包；所述分布式控制中心根据所述输入分割信息向第一计算节点下发map计算任务，并向第二计算节点下发reduce计算任务；所述第一计算节点从所述分布式集群中获取所述map计算任务对应的第一子资源包和对应的第一旅客行为数据；所述第一计算节点根据所述第一子资源包和所述第一旅客行为数据执行map计算任务生成第二旅客行为数据；所述第二计算节点从所述分布式集群中获取所述reduce计算任务对应的第二子资源包；所述第二计算节点根据所述第二子资源包和所述第二旅客行为数据执行reduce计算任务生成目标旅客行为数据；所述第二计算节点将所述目标旅客行为数据存入所述分布式集群。