一种基于SLURM调度的算法集成与评测平台及方法

摘要

本发明公开了一种基于SLURM调度的算法集成与评测平台及方法，该平台包括封装模块、调度接口模块、上传下载模块、编译模块、算法集成模块及算法性能统计模块。在SLURM中心守护进程和监控进程运行过程中，利用该平台用户可动态的进行调度方法集成。当用户使用该平台的时候，只需要了解平台封装模块下提供的公共变量、结构体以及基础函数库文件，实现平台对外的两个子函数接口网上提交至服务器即可，无需关心该软件其它部分的源码以及平台中各个模块的协作关系，使SLURM开发人员或者高性能计算用户更方便的集成各自的调度算法而忽略对该软件其它模块源码的研究，在真实的环境下检测算法的性能、灵活运用各种调度算法。

主权项

一种基于SLURM调度的算法集成与评测平台，其特征在于，包括封装模块、上传下载模块、调度接口模块、编译模块、算法集成模块及算法性能统计模块；所述的算法集成与评测平台运行在计算机集群环境中，所述计算机集群是指包含多台装有Linux操作系统且安装有SLURM软件的计算机；所述上传下载模块，用于将平台使用者自行编写的子函数接口源码文件上传至服务器；以及用于使用者从服务器下载封装模块；所述服务器是指计算机集群中的一台计算机；所述封装模块是指封装好的头文件或动态链接库文件；所述调度接口模块，包括两部分：第一部分是该平台设计者对调度API接口定义的编码框架模版文件；第二部分是调度接口文件整合程序；所述调度接口文件整合程序的作用是利用Linux的sed指令将编码框架模板文件中的算法名称更改为使用者指定的名称，形成新的调度文件；以及利用Linux的cat指令将形成的新的调度文件与使用者上传的源码文件进行融合，形成完整的调度API接口文件；当平台使用者上传源码文件后，运行调度接口文件整合程序，自动将新的调度文件和源码文件的内容整合成完整的调度API接口文件；所述编译模块，用于编译上传至服务器后经调度接口整合程序整合后的源码文件以生成可执行文件并存储到设定的服务器设定的文件夹下；所述算法集成模块，在Linux服务器上运行一个算法集成脚本文件，该脚本文件将生成的新的可执行文件分发到集群的各个节点，同时在各个节点上重新启动调度进程；所述算法集成脚本文件的功能是：首先从SLURM集群配置文件slurm.conf中读取集群中各个节点的主机名和IP信息，接着将编译模块生成的可执行文件通过Linux的scp指令按照读取的IP信息复制到集群中的各个节点，最后利用Linux下的ssh指令重启各个节点的调度进程；所述算法性能统计模块的作用是：在中心控制进程设置两个计数器，分别记录单位时间内作业的到达数目和单位时间内作业的完成数目；利用slurm已有的指令sacct查看各个作业的起止执行时间，各个作业运行分配的节点以及cpu的利用率，以及cpu的实时温度，完成算法的调度性能指标的统计。