一种确定云平台中最优通信代理节点数目的方法

摘要

本发明的目的是解决现有技术没有确定云平台中最优通信代理节点的数目的问题。为实现本发明目的而采用的技术方案是这样的，一种确定云平台中最优通信代理节点数目的方法，构建一个包括一台控制节点服务器和若干台计算节点服务器的云平台，每一台所述的计算节点服务器上构建若干台虚拟机。所述云平台基于OpenStackHavana版搭建。在所述云平台的服务器上构建若干个通信代理节点，所述通信代理节点用于管理虚拟机。根据map阶段(分发处理阶段)总耗时、Reduce阶段(合并处理阶段)总耗时和MapReduce进程(大数据处理进程)过程耗时的表达式确定获得云平台中最优的通信代理节点数目。

主权项

一种确定云平台中最优通信代理节点数目的方法，构建一个包括一台控制节点服务器和若干台计算节点服务器的云平台，每一台所述的计算节点服务器上构建若干台虚拟机；所述云平台基于OpenStack Havana版搭建；在所述云平台的服务器上构建若干个通信代理节点，所述通信代理节点用于管理虚拟机；其特征在于：最优的通信代理节点数目k通过以下步骤确定：1)map阶段(分发处理阶段)总耗时：$T_{\mathrm{total}}^{\mathrm{map}}=\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{n_i}{\Sigma }}{t}_{\mathrm{ij}}^{\mathrm{map}}=N·\frac{S}{B}+\frac{\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{n_i}{\Sigma }}{\mu }_{\mathrm{ij}}}{{\mu }_{\mathrm{total}}}·\frac{S}{\mathrm{kB}}+\frac{\mathrm{NS}}{{\mu }_{\mathrm{tptal}}}=N·\frac{S}{B}+\frac{{\mathrm{SN}}_a}{\mathrm{kBN}}+\frac{\mathrm{NS}}{{\mu }_{\mathrm{total}}},$其中，代表map阶段总耗时，m代表计算节点服务器的数量，n_i代表第i台计算节点服务器上虚拟机的数量，代表map阶段第i台计算节点服务器上第j个虚拟机耗时，N代表在MapReduce进程(大数据处理进程)中可用的虚拟机数量，S代表map阶段稳态时，固定时间段内输入云平台的数据总大小的期望，B代表任意两个计算节点服务器之间传输1GB数据所需时间，μ_ij代表第i号计算节点服务器上的第j台虚拟机当前的处理能力，μ_total代表当前云平台中所有虚拟机的性能总和，k代表云平台中通信代理节点的数目，N_a代表构建在有通信代理的服务器上的虚拟机数量之和；2)Reduce阶段(合并处理阶段)总耗时：$\begin{array}{c}{T}_{\mathrm{total}}^{\mathrm{reduce}}=\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{n_i}{\Sigma }}{t}_{\mathrm{ij}}^{\mathrm{reduce}}\\ =\frac{(N-N_a)S_r{n}_r}{\mathrm{kB}}+[\frac{{\mathrm{NS}}_r{n}_r}{B}-\frac{(N-N_a)S_r}{\mathrm{kB}}·\frac{n_{r}k}{n_r+k-1}-\frac{N_a{S}_r{n}_r}{B}]+\frac{{\mathrm{NS}}_r}{B}·(1-\frac{N_a}{N})n_r\\ =\frac{{\mathrm{NS}}_r{n}_r}{\mathrm{kB}}+[\frac{{\mathrm{NS}}_r{n}_r}{B}-\frac{(1-\frac{1}{{\mu }_{\mathrm{total}}}){\mathrm{NS}}_r}{\mathrm{kb}}·\frac{n_{r}k}{n_r+k-1}-\frac{{\mathrm{NS}}_r{n}_r}{{\mu }_{\mathrm{total}}B(n_r+k-1)}]\\ +\frac{{\mathrm{NS}}_r}{B}·(1-\frac{1}{{\mu }_{\mathrm{total}}})n_r\end{array}$其中：代表reduce阶段总耗时，m代表计算节点服务器的数量，n_i代表第i号计算节点服务器上虚拟机的数量，代表reduce阶段第i台计算节点服务器上第j个虚拟机耗时，N代表在MapReduce进程(大数据处理进程)中可用的虚拟机数量，S_r代表reduce阶段稳态时，固定时间段内输入的数据总大小的期望，n_r代表reduce阶段数据的虚拟机的数量，B代表任意两个计算节点服务器之间传输1GB数据所需时间，k代表云平台中通信代理节点的数目，μ_cocat代表当前云平台中所有虚拟机的性能总和，N_a代表构建在有通信代理的服务器上的虚拟机数量之和；3)MapReduce进程(大数据处理进程)过程耗时的表达式：$\begin{array}{c}{T}_{\mathrm{total}}=T_{\mathrm{total}}^{\mathrm{map}}+T_{\mathrm{total}}^{\mathrm{reduce}}\\ =\frac{\mathrm{NS}}{B}+\frac{S(N-N_a)}{\mathrm{kBN}}+\frac{N^{2}S}{{\mu }_{\mathrm{total}}(N-N_a)}+\frac{[(2k+1)N-(k+1)N_a]S_r{n}_r}{\mathrm{kB}}-\frac{(N-{2N}_a)S_r{n}_r}{B(n_r+k-1)}\end{array}$4)根据T_total的表达式，求解获得云平台中最优的通信代理节点数目k：$\frac{{\partial T}_{\mathrm{total}}}{\partial k}=0\Rightarrow k=\frac{{\mathrm{NSn}}_r{\mu }_{\mathrm{total}}}{|\mathrm{BS}-(n_r+1){\mathrm{NS}}_r{\mu }_{\mathrm{total}|}}.$