集中式数据中心数据冗余消除方法

摘要

一种集中式数据中心数据冗余消除方法，在现有的数据中心网络体系结构的中间节点中增加缓存；中间节点缓存数据中心服务器间发送的数据；数据中心集中模块通过对数据中心传输数据进行统计，估计在不同的时间发送的数据的期望；数据中心集中模块对数据缓存进行调度，使得不同的数据缓存到不同的中间节点，从而最大化缓存的效用；数据中心服务器发送数据时，根据中间节点中的缓存情况对数据进行压缩编码；中间节点对压缩编码进行解码，本发明不仅能够消除相同服务器发送的数据的冗余，同时不同服务器发送的数据之间的冗余也能得到消除，同时始终选择缓存效用最大的中间节点作为缓存数据中间节点，从而达到更高的冗余消除效果。

主权项

1.集中式数据中心数据冗余消除方法，源服务器将数据通过中间节点发送至目标服务器，在所述中间节点增加缓存，传输数据时中间节点缓存已经传输的数据，从而在相同数据再次发送的时候可以先进行压缩编码，然后发送，在中间节点进行解码转发，完成数据传输，其特征在于，在源服务器、中间节点以及目标服务器组成的数据中心网络中，布置一个集中调度模块，利用该模块获取服务器之间传输的数据以及中间节点中缓存的数据，对于数据d_i，缓存到不同的中间节点带来的缓存效用不同，选用缓存效用最大的中间节点作为其待缓存节点；其中，缓存效用u(j，j，k)为冗余消除的效用，其计算方法如下：在数据中心网络中，需要发送的数据的集合为{d₁，d₂，......，d_M)，中间节点的集合为R＝{r₁，r₂，......，r_|R|)，路径集合为{p₁，p₂，......，p_|P|)，e_ij为数据d_i在路径p_j的传输次数的期望，如果在中间节点r_k中缓存了数据d_i，并且中间节点r_k对数据d_i的压缩编码d′_i进行解码，则冗余消除的效用其中是路径p_j的源节点到中间节点r_k的跳数；当前中间节点r_k每缓存一个数据d_i，其剩余缓存容量减1，如果其剩余缓存容量为0，则计算尚未被缓存数据的缓存效用时，跳过当前中间节点r_k；直至所有的数据被缓存完毕，或者所有的中间节点的剩余缓存容量都为0，调度结束。