一种基于均匀采样的网络冗余流量识别方法

摘要

本发明公开了一种基于均匀采样的网络冗余流量识别方法，通过特征指纹均匀采样：按固定大小的窗口连续滑动，选取窗口内最大的特征指纹作为采样特征指纹存入特征指纹库；以及采样特征指纹动态跟踪：查找特征指纹库识别冗余数据块的过程中，更新特征指纹库中匹配的特征指纹指向(映射于)缓冲区中匹配的数据包负载，以防止缓冲区刷新过程清除特征指纹库中高频冗余数据包负载映射的特征指纹，保持冗余流量识别的可持续性。

主权项

一种基于均匀采样的网络冗余流量识别方法，其特征在于，包括以下步骤：(1)、特征指纹均匀采样1.1)、对接收的第一个数据包负载t₁,t₂,t₃...t_n，按Ω大小的滑动窗口，从起始位置滑动，一个字节为步进，对该数据包负载进行划分，得到连续的大小为Ω的n‑Ω+1个数据块t₁,t₂,t₃,...,t_Ω、t₂,t₃,t₄,...,t_Ω+1、…、t_n‑Ω+1,t_n‑Ω+2,t_n‑Ω+3,...,t_n，其中，n为数据包负载字节数；1.2)、对n‑Ω+1个数据块的数据块，按Rabin多项式，计算数据块映射的特征指纹，数据块与特征指纹映射关系依次为：H₁＝RF(t₁,t₂,t₃,...,t_Ω)＝(t₁p^Ω‑1+t₂p^Ω‑2+...+t_Ω‑1p¹+t_Ωp⁰)mod MH₂＝RF(t₂,t₃,t₄,...,t_Ω+1)＝((RF(t₁,t₂,t₃...t_Ω)‑t₁p^Ω‑1)*p+t_Ω+1p⁰)mod M         (1)……H_n‑Ω+1＝RF(t_n‑Ω+1,t_n‑Ω+2,t_n‑Ω+3,...,t_n)＝((RF(t_n‑Ω,t_n‑Ω+1,t_n‑Ω+2,...,t_n‑1)‑t_n‑Ωp^Ω‑1)*p+t_np⁰)mod M其中，H₁、H₂、…、H_n‑Ω+1为n‑Ω+1个数据块对应的特征指纹；首先按公式(1)计算数据块t₁,t₂,t₃,...,t_Ω映射的特征指纹H₁，然后根据查找表T，以单字节t_i元素值作为查找索引，得到t_ip^Ω‑1的值，i＝1,2,…,n‑Ω；最后按照公式(1)，计算出数据块t₂,t₃,t₄,...,t_Ω+1、…、t_n‑Ω+1,t_n‑Ω+2,t_n‑Ω+3,...,t_n的特征指纹H₂,…,H_n‑Ω+1，其中，查找表T包括0～255的查找索引，每个查找索引对应的输出值为该查找索引与p^Ω‑1的乘积；1.3)、步骤1.2)得到的特征指纹进行顺序排列，形成特征指纹序列H₁,H₂,…,H_n‑Ω+1；按w大小的滑动窗口，从起始位置滑动，一个特征指纹为步进，对特征指纹序列H₁,H₂,…,H_n‑Ω+1进行划分，每次滑动都选取滑动窗口内最大值作为采样特征指纹存入特征指纹库中，至最后一个滑动窗口，完成输入数据包的特征指纹采样；不同滑动窗口因重叠部分选中同一采样特征指纹时，只存入第一次选中的采样特征指纹；(2)、采样特征指纹动态跟踪2.1)、建立一个缓冲区，将输入的第一个数据包负载存入，并将特征指纹库中的采样特征指纹映射于第一个数据包负载；2.2)、对接收的第二个数据包负载，首先存入缓冲区，然后按照步骤(1)中的方法提取到采样特征指纹，并逐个在特征指纹库中进行匹配，并进行动态跟踪：如果匹配到采样特征指纹，则将特征指纹库中匹配到的采样特征指纹映射于第二个数据包负载，如果没有匹配到，则将提取的采样特征指纹存入特征指纹库中，并映射于第二个数据包负载；2.3)、对随后接收的数据包负载，按照步骤2.2)方法进行处理；当缓冲区中数据包负载存满后，采用先进先出(First In First Out，FIFO)的老化机制刷新缓冲区，以便存储后续达到的数据包负载，刷新时，特征指纹库中映射于被移出数据包负载的采样特征指纹被清除；(3)、冗余流量识别对于步骤(2)中提取的采样特征指纹，如果在特征指纹中匹配成功，则采样最大内容匹配法，依据采样特征指纹对应的数据块，对接收的数据包负载与映射于缓存区中的数据包负载进行匹配，并输出匹配字节数即冗余数据块大小；统计出单位时间各个冗余数据块大小之和，得到冗余流量大小即识别出冗余流量。