一种适用于在线数据密集型应用的请求多副本任务执行方法

摘要

本发明公开了一种适用于在线数据密集型应用的请求多副本任务执行方法，该方法包括有设置执行任务系统所需的初始量和参考量的步骤，记录副本的各个时间特性的步骤，判断时延的步骤和检查、更新后端从节点状态参考量的步骤；本发明所要解决的是如何减少多副本执行在保障“在线数据密集型应用”服务质量时占用的额外资源的技术问题，该方法通过利用滑动窗口提取副本特征，并对后端从节点进行性能预测，动态调节任务的多副本比例，使“在线数据密集型应用”系统能够有效地适应负载水平的动态波动；从而提高了“在线数据密集型应用”系统资源的使用效率的技术效果。

主权项

一种适用于在线数据密集型应用的请求多副本任务执行方法，所述在线数据密集型应用属于云计算机系统中的任务执行单元，其特征在于：请求多副本任务执行方法包括有下列步骤：步骤A，初始化系统并设置初始量和参考量步骤A‑1，设置服务质量目标SLO；步骤A‑2，对后端从节点进行标记，记为bs_N；步骤A‑3，设置任务对应的副本；初始化在线数据密集型应用中的任务执行系统，设置任务执行系统中每个任务对应的副本总数为k，副本标记为r；每个任务对应的所有副本采用集合形式表达为R＝{r₁,r₂,…,r_k}，r₁表示第一个副本，r₂表示第二个副本，r_k表示最后一个副本，k表示副本的标识号；步骤A‑4，设置无效周期数、恢复周期数；初始化在线数据密集型应用中的任务执行系统，设置后端从节点bs_N的无效周期数和恢复周期数执行步骤B；步骤B，副本标记及分发副本步骤B－1，副本标记；从R＝{r₁,r₂,…,r_k}中选取w个副本作为任务的标记副本，0＜w＜k；则将所述R＝{r₁,r₂,…,r_k}记为标记后副本的表达形式为$\mathrm{RS}=\{r_1,r_2,...,r_{w-1}^s,r_w^s,r_{w+1}^s,...,r_k\};$s为副本被标记的标识的；步骤B－2，分发副本；后端主节点将同一任务的所述分发至N个后端从节点上，执行步骤C；步骤C，获取排队时延；计算后端从节点bs_N运行r₁副本的排队时延记为且表示后端从节点bs_N运行r₁副本的时间，表示r₁副本到达后端从节点bs_N的时间；计算后端从节点bs_N运行r₂副本的排队时延记为且表示后端从节点bs_N运行r₂副本的时间，表示r₂副本到达后端从节点bs_N的时间；计算后端从节点bs_N运行副本的排队时延记为且表示后端从节点bs_N运行副本的时间，表示副本到达后端从节点bs_N的时间；计算后端从节点bs_N运行副本的排队时延记为且表示后端从节点bs_N运行副本的时间，表示副本到达后端从节点bs_N的时间；计算后端从节点bs_N运行副本的排队时延记为且表示后端从节点bs_N运行副本的时间，表示副本到达后端从节点bs_N的时间；计算后端从节点bs_N运行r_k副本的排队时延记为且表示后端从节点bs_N运行r_k副本的时间，表示r_k副本到达后端从节点bs_N的时间；执行步骤D；步骤D，检查副本中是否是标记副本；步骤D‑1，任意一后端从节点bs_N对接收到任意一副本r_k进行检查，从而获取所述r_k副本是否是带有标记的副本；步骤D‑2，若后端从节点bs_N接收到的副本r_k为标记副本则执行步骤H；步骤D‑3，若后端从节点bs_N接收到的副本r_k不是标记副本则执行步骤E；步骤E，判断后端从节点的运行状态；步骤E‑1，若后端从节点bs_N满足状态条件一时，后端从节点bs_N处于无效状态，则结束在线数据密集型应用中的任务执行；步骤E‑2，若后端从节点bs_N不满足状态条件一时，后端从节点bs_N不处于无效状态，则执行步骤F；步骤F，获取副本排队时延，并计算副本的预期响应时延计算r₁副本的预期响应时延且计算r₂副本的预期响应时延且计算副本的预期响应时延且计算副本的预期响应时延且计算副本的预期响应时延且计算r_k副本的预期响应时延且执行步骤G；步骤G，检查副本的预期响应时延是否满足服务质量目标若则结束在线数据密集型应用中的任务执行；若则执行步骤H；若则结束在线数据密集型应用中的任务执行；若则执行步骤H；若则结束在线数据密集型应用中的任务执行；若则执行步骤H；若则结束在线数据密集型应用中的任务执行；若则执行步骤H；若则结束在线数据密集型应用中的任务执行；若则执行步骤H；则结束在线数据密集型应用中的任务执行；则执行步骤H；步骤H，获取副本的服务时延和响应时延计算后端从节点bs_N运行所述r₁副本的服务时延记为且表示后端从节点bs_N执行完成r₁副本的时间；计算后端从节点bs_N运行所述r₂副本的服务时延记为且表示后端从节点bs_N执行完成r₂副本的时间；计算后端从节点bs_N运行所述副本的服务时延记为且表示后端从节点bs_N执行完成副本的时间；计算后端从节点bs_N运行所述副本的服务时延记为且表示后端从节点bs_N执行完成副本的时间；计算后端从节点bs_N运行所述副本的服务时延记为且表示后端从节点bs_N执行完成副本的时间；计算后端从节点bs_N运行所述r_k副本的服务时延记为且表示后端从节点bs_N执行完成r_k副本的时间；计算后端从节点bs_N运行所述r₁副本的响应时延记为且计算后端从节点bs_N运行所述r₂副本的响应时延记为且计算后端从节点bs_N运行所述副本的响应时延记为且计算后端从节点bs_N运行所述副本的响应时延记为且计算后端从节点bs_N运行所述副本的响应时延记为且计算后端从节点bs_N运行所述r_k副本的响应时延记为且执行步骤I；步骤I，计算动态参考值设置服务时延监控模块400的滑动窗口Windows存储的服务时延的个数，记为V，若服务时延监控模块400收到的服务时延的个数记为v；当v＜V时，则服务时延监控模块400继续接收的服务时延；当v≥V时，则服务时延监控模块400将先接收的服务时延剔除；计算服务时延监控模块400的存储的服务时延的平均值ASL，设置响应时延监控模块500的滑动窗口Windows存储的响应时延的个数，记为U，若响应时延监控模块500收到的响应时延的个数记为u；当u＜U时，则响应时延监控模块500继续接收的响应时延；当u≥U时，则响应时延监控模块500将先接收的响应时延剔除；计算响应时延监控模块500的存储的响应时延的平均值ARL，且计算响应时延监控模块500的存储的响应时延的方差VRL，且执行步骤J；步骤J，检查节点状态参考量步骤J‑1，检查后端从节点bs_N若不满足状态条件三，则更新即递减1；执行步骤J‑2；步骤J‑2，检查后端从节点bs_N若满足状态条件一，则更新无效周期数即递减1；同时结束在线数据密集型应用中的任务执行；检查后端从节点bs_N若不满足状态条件一，执行步骤J‑3；步骤J‑3，检查后端从节点bs_N若满足状态条件三，则后端从节点bs_N处于运行状态，执行步骤K；步骤K，更新节点状态参考量依据ARL和VRL更新后端从节点bs_N的状态参考量，即无效周期数和恢复周期数若且VRL＜ζ，η表示预设的响应时延偏移量上限，ζ表示预设的响应时延方差上限；表明系统负载较高，一方面更新恢复周期数为副本等待队列模块200中的副本数；另一方面更新无效周期数将所述的更新为0≤λ≤1；λ表示预设的无效周期数的比例参数。