基于MapReduce技术的大数据地址分层调度方法

摘要

本发明公开一种基于MapReduce技术的大数据地址分层调度方法,包括构建面向联系地址的调度表，确定业务地域范围，在Map阶段生成Key和Value，在Reduce阶段实现调度分析，逐层向下调度等步骤；本发明实现了面向联系地址的调度，联系地址向上可以扩展到国家甚至洲级地址，向下可以延伸至更精准位置，可支持按不同粒度的地址分层调度。

主权项

基于MapReduce技术的大数据地址分层调度方法,其特征在于，包括以下步骤：步骤1、构建面向联系地址的调度表，所述调度表的列族包括问题域的基本信息列族和调度列族，所述基本信息列族包括在Reduce阶段要处理的内容和大数据的相关联系地址列，所述调度列族包括被划分成粗略地址和详细地址的联系地址，选取能区分大数据记录的字段作为调度表的行关键字，并将行关键字放到基本信息列族中；步骤2、确定业务地域范围，初始化粗略地址和详细地址：根据问题域确定业务的地域范围，将联系地址的粗略地址和详细地址写入到调度表的调度列族的粗略地址和详细地址列中。步骤3、在Map阶段生成Key和Value：将大数据联系地址的粗略地址赋值给Key，将行关键字+联系地址+要处理的内容赋值给Value；步骤4、在Reduce阶段实现调度分析：根据Key和Value的联系地址，输出下一级地址划分的粗略地址和详细地址；步骤5、逐层向下调度：初始化Job，建立调度表数据库的连接，将源表和目标表都初始化为调度表表，按大数据的相关联系地址逐层向下调度，直到最底层联系地址；否者，重复步骤3至步骤5。