基于代理服务的Hadoop生态组件调度服务实现方法及系统

摘要

本发明提供了基于代理服务的Hadoop生态组件调度服务实现方法及系统，其解决现有单一调用Hadoop应用组件无法进行有效的管理与监控的问题以及无法适应交通管理各个业务系统的异构性的问题；其在交通管理大数据平台和/或其它交管业务系统与Hadoop技术组件之间设置代理服务系统，交通管理大数据平台和/或其它交管业务系统通过代理服务系统的RPC控制端与接口服务模块进行业务数据的交互传输并由RPC控制端实现服务进程的调用及处理，接口服务模块对业务数据进行格式化、校验后与调度服务模块进行数据的交互传输，调度服务模块对业务数据进行调度管理及监控，代理服务系统的服务器模块对Hadoop技术组件接口数据进行封装以实现代理服务系统与Hadoop技术组件之间数据的交互。

主权项

基于代理服务的Hadoop生态组件调度服务实现方法，其特征在于：其在交通管理大数据平台和/或其它交管业务系统、与Hadoop技术组件之间设置代理服务系统，所述交通管理大数据平台和/或其它交管业务系统通过所述代理服务系统的RPC控制端与接口服务模块进行业务数据的交互传输并由所述RPC控制端实现服务进程的调用及处理，所述接口服务模块对所述业务数据进行格式化、校验后与调度服务模块进行数据的交互传输，所述调度服务模块对业务数据进行调度管理及监控，代理服务系统的服务器模块对所述Hadoop技术组件接口数据进行封装以实现所述代理服务系统与Hadoop技术组件之间数据的交互。