一种支持多大数据计算框架的集群资源配置与调度方法

摘要

本发明公开了一种支持多大数据计算框架的集群资源配置与调度方法，包括以下步骤：通过主控制节点收集计算节点所有的可交易计算资源推送给计算框架调度器，由相应的计算框架调度器以契约交易方式决定是否接受资源并使用；若计算框架接受分配的资源，通过计算框架自身分布式调度把计算任务分配到相应的计算资源并通知主控制节点，启动对应计算框架执行器来执行计算任务；若计算框架拒绝接受，重新分配资源，继续向计算框架发送资源交易信息；对多种计算资源类型进行细粒度分配的公平调度，对计算框架的资源分配由该框架的侧重资源决定，且每个计算框架获得的侧重资源的占比应尽可能相同。提高了集群整体的资源利用率和计算服务的可靠性/可扩展性。

主权项

一种支持多大数据计算框架的集群资源配置与调度方法，其特征在于，包括以下步骤：S01：为每一种计算框架添加一个对应的计算框架调度器并部署到整个系统，通过主控制节点收集计算节点所有的可交易计算资源推送给计算框架调度器，由相应的计算框架调度器以契约交易的方式决定是否接受资源并使用；S02：如果计算框架接受分配的资源，则上升到第二层分配调度，通过计算框架自身的分布式调度把计算任务分配到相应的计算资源并通知主控制节点，再由主控制节点通知相应的计算节点启动对应的计算框架执行器来执行计算任务；S03：如果计算框架拒绝接受当前分配的计算资源，则主控制节点把资源重新进行分配，继续向计算框架发送资源交易的信息；S04：对多种计算资源类型进行细粒度分配的公平调度，对每个计算框架的资源分配由该框架的侧重资源来决定，每个计算框架获得的各种计算资源的占比中，侧重资源的占比应占据最大份额，且每一个计算框架获得的侧重资源的占比应该尽可能相同。