一种基于向量自回归的云计算中虚拟机监控方法

摘要

一种基于向量自回归的云计算中虚拟机监控方法是一种新型的监控方法。由于云计算中虚拟机监控的特殊性监控的数据量较为庞大，采用周期性监控会对监控系统造成巨大的压力，我们采用更节省资源的“拉”模式的监控，但是具体什么时候采集数据，需要智能的判断，不但增加了实时性，而且也减少系通的资源压力，基于VAR的云计算中虚拟机监控，即做到实时性的监控，又提高了资源的利用率。该模型能够根据以往的数据模型建立新的回归方程，来对下一个周期的资源数据做出预测，根据这些预测值配合“拉”模式进行模拟数据的采集。这种算法增加了资源监控的自适应性和实时性。

主权项

一种基于向量自回归的云计算中虚拟机监控方法，其特征在于该方法所包含的步骤为：步骤1)每个被监控的物理节点都有一个采集器，主要负责该物理节点监控数据的采集，包括主机名、处理器、内存、CPU利用率、时钟速度、物理内存总量、虚拟内存和可用磁盘空间，以及运行在该物理节点上的多个虚拟机的资源等信息；步骤2)各个物理节点的采集器将监控到的数据交给监控模块的信息收集器，信息收集器对接收到的数据进行一定的格式化处理，并提取出物理节点的数据发送给VAR控制器模块，其中VAR指的是向量自回归模型，其它的虚拟机信息直接交给反馈模块；步骤3)定义一个最小监控信息采集周期T_min，作为时间序列中最短的时间间隔，再定义一个T_max＝w×T_min，w为正整数，T_max为最大的监控信息采集周期，按照T_min周期采集样本性能信息，把资源的利用率作为评价网格监控事件的参数，包括：CPU利用率，带宽利用率，内存利用率，I/O利用率；步骤4)定义一个存储最初采集监控数据的样本的二维数组x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，i＝1...n，j＝0...m，n代表监控节点的个数，m大于100；其中i代表集群中监控节点的序号，j代表样本时间点，集合中的四个子项，x_1ij代表CPU使用率、x_2ij代表内存使用率、x_3ij代表I/O使用率、x_4ij代表带宽使用率，样本(x_1ij，x_2ij，x_3ij，x_4ij)表示一个时间点t_j机器i监测到的性能数据，形成一段时间的样本，时间点之间的间隔为T_min；并定义安全计时器T_s和最大监控间隔时间T_max＝w×T_min，其中w为正整数；步骤5)接下来对这些样本数据归一化处理，即对每个时间点的x[1...n]进行处理，x[1...n]表示每个监控节点上的当前时间的所有数据，处理如下：X_1ij＝(x_1ij‑x_1min)/(x_1max‑x_1min)，x_1min代表在j时刻n个节点x_1ij值的最小值，x_1max代表最大值；同样求出X_2ij，X_3ij，X_4ij的值，分别代表归一化后的数据，将x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}处理后变为X[j][i]＝{X_1ij，X_2ij，X_3ij，X_4ij}，X[j][i]代表数据归一化处理后的样本数组；步骤6)将样本均值处理，将每一个时间点内的数据X[j][1]至X[j][n]，进行均值处理，并保存到一个中间数组Y_t[1...4]中，共4个维度,，k＝1,2,3,4，t＝1...m，n代表监控节点个数，t代表时间点，每个时间点都进行如此处理，取对数主要是为了消除异方差，最后将每个时间点内经过均值处理得到的4个数赋值给X[t][1]，作为最终的输入样本；步骤7)采用PP(Phillips‑Perron test)单位根检验法对每一个时间序列检验是否存在单位根，若这些时间序列的一阶差分不是平稳序列，则对时间序列进行差分处理，采用迭代相乘法计算出各个参数的值，将经过差分处理的新的时间序列再次进行单位根检验，若仍然存在单位根，将进一步差分处理，直到不存在单位根，即时间序列的一阶差分是平稳序列，若超过三次差分则重新选择样本；步骤8)确定CPU使用率、内存使用率、I/O使用率、带宽使用率为VAR模型的内生变量，且输入样本为Y_t[1...4]数组，t＝1...m；四个时间序列分别用L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)表示；建立如下方程模型VAR(p)：$Y_t=\underset{i=1}{\overset{p}{\Sigma }}{\Pi }_i{Y}_{t-i}+U_t={\Pi }_1{Y}_{t-1}+{\Pi }_2{Y}_{t-2}+...+{\Pi }_p{Y}_{t-p}+U_t---\left(1\right)$式中Π_i,i＝1...p，代表第i个带估计参数N×N阶矩阵；其中U_t代表是N×1阶随机误差列向量，p为模型最大滞后阶数，Y_t代表时间序列的列向量；步骤9)接下里计算出滞后阶数p，选择赤池信息准则AIC与施瓦茨准则SC来确定滞后阶数，通过以下的计算公式来得到相应的值：$\mathrm{AIC}=-2\left(\frac{\log L}{T}\right)+\frac{2p}{T},---\left(2\right)$$\mathrm{SC}=-2\left(\frac{\log L}{T}\right)+\frac{p\log T}{T};---\left(3\right)$其中L为似然估计，T代表样本容量；首先建立VAR(p)模型，分别建立VAR(1)，VAR(2)，VAR(3)，VAR(4)来比较AIC与SC的值，p_max＝{p|AICi与SCj代都取最小，i,j∈1,2,3,4}，p_max确定为最终的滞后阶数；步骤10)接下来建立最终的VAR(p_max)模型，通过样本会预测出上述的估计参数矩阵，得到线性模型如下：L_cpu(t)＝π₁₁₁L_cpu(t‑1)+π₁₁₂L_ram(t‑2)+π₁₁₃L_io(t‑1)+π₁₁₄L_bw(t‑1)+π₂₁₁L_cpu(t‑1)+π₂₁₂L_ram(t‑2)+π₂₁₃L_io(t‑1)+π₂₁₄L_bw(t‑1)+...+π_p11L_cpu(t‑1)+π_p12L_ram(t‑2)+π_p13L_io(t‑1)+π_p14L_bw(t‑1)+u_1tL_ram(t)＝π₁₂₁L_cpu(t‑1)+π₁₂₂L_ram(t‑2)+π₁₂₃L_io(t‑1)+π₁₂₄L_bw(t‑1)+π₂₂₁L_cpu(t‑1)+π₂₂₂L_ram(t‑2)+π₂₂₃L_io(t‑1)+π₂₂₄L_bw(t‑1)+...+π_p21L_cpu(t‑1)+π_p22L_ram(t‑2)+π_p23L_io(t‑1)+π_p24L_bw(t‑1)+u_2tL_io(t)＝π₁₃₁L_cpu(t‑1)+π₁₃₂L_ram(t‑2)+π₁₃₃L_io(t‑1)+π₁₃₄L_bw(t‑1)+π₂₃₁L_cpu(t‑1)+π₂₃₂L_ram(t‑2)+π₂₃₃L_io(t‑1)+π₂₃₄L_bw(t‑1)+...+π_p31L_cpu(t‑1)+π_p32L_ram(t‑2)+π_p33L_io(t‑1)+π_p34L_bw(t‑1)+u_3tL_bw(t)＝π₁₄₁L_cpu(t‑1)+π₁₄₂L_ram(t‑2)+π₁₄₃L_io(t‑1)+π₁₄₄L_bw(t‑1)+π₂₄₁L_cpu(t‑1)+π₂₄₂L_ram(t‑2)+π₂₄₃L_io(t‑1)+π₂₄₄L_bw(t‑1)+...+π_p41L_cpu(t‑1)+π_p42L_ram(t‑2)+π_p43L_io(t‑1)+π_p44L_bw(t‑1)+u_4t式子中的p即是第9步骤的预测值滞后阶数p_max，其中π代表计算出的估计参数，方程表示的是各变量上一时间点的值与下一时间点的值的关系，将最近一次测得的数据代入方程即可以得到下一时间点的预测值，得到L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)的值；步骤11)根据各个参数的重要程度，利用权值处理得一个综合值，cpu使用率相对重要，其权值设置的要高，确定λ₁,λ₂,λ₃,λ₄的值，得到综合值R＝λ₁L_cpu(t)+λ₂L_ram(t)+λ₃L_io(t)+λ₄L_bw(t)；步骤12)如过R达到指定的阀值R_max，则监控模块主动向所有服务器的采集器发出监控命令,安全计时器T_s清零开始计时，转移到下一步；如果R小于R_max，查看T_s是否达到指定的最大监测间隔时间T_max＝w×T_min，w为正整数，如果达到的话也需要主动进行监测并转移到下一步，否则不监测，直接返回；步骤13)如果T_s>＝T_max,则定义一个二维数组数组存储新的样本x′[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，其中的i与j的含义与x[j][i]的相同，将原样本的x[w+1]至x[m]分别赋值给x′[1]至x′[m‑w]，最近预测的值赋值给x′[m‑w+1]至x′[m]，即除去一些旧的样本，加上最新的数据作为最新的样本数据，重新建立VAR模型，如果T_s<T_max,与上面一样，除去部分最早的旧的样本，加上一些新的样本，形成下一轮的样本x′[j][i]；步骤14)重新生成样本，重复上述步骤在进行样本的归一化处理平稳性检验，重新生成VAR模型，到步骤10，生成新的回归方程，并进行新的预测。