一种基于序列比对的自适应应用层网络协议报文聚类方法

摘要

一种基于序列比对的自适应应用层网络协议报文聚类方法，首先对报文进行划分得到各个报分词文序列，然后根据偏移、宽度、语义、类型、数据内容计算各个报分词文序列中分词的相似度，并使用位置和距离对分析相似度进行修正，进而得到各个报文分析序列的相似度，最后计算多个聚类数量下的聚类有效性评价指标，将聚类有效性评价指标最大值对应的聚类作为聚类结果。本发明与现有技术相比，通过综合考察分词的多个属性来对报文分词的相似程度进行比对，改善了以往序列比对中元素的比较仅考虑数值的片面性，能够更加全面准确地判断网络报文中分词的相似性，从而提高整体分析的性能。

主权项

一种基于序列比对的自适应应用层网络协议报文聚类方法，其特征在于包括如下步骤：(1)获取需要进行报文聚类的报文，分别对各个报文进行划分得到分词，进而得到各个报文对应的报文分词序列；所述的分词为报文中的各个字段；(2)从步骤(1)得到的报分词文序列中任意选择两个，分别记为T_m、F_n，计算报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词关于偏移的相似度scoreP(T_m[i],F_n[j]).o为$scoreP\left(T_m\right[i],F_n[j\left]\right).o=\left\{\begin{array}{cc}0& T_m\left[i\right].o\ne F_n\left[j\right].o\\ 1+addweight& T_m\left[i\right].o=F_n\left[j\right].o\end{array}\right.$其中，T_m[i].o＝F_n[j].o表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词均包括偏移，T_m[i].o≠F_n[j].o表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词不均包括偏移，i＝1,2,3…m，j＝1,2,3…n，m为报文分词序列T_m中分词的个数，n为报文分词序列F_n中分词的个数，T_m.l为报文分词序列T_m的长度，F_n.l为报文分词序列F_n的长度；所述的偏移为分词首位到当前报文分词序列头部的距离；(3)计算报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词关于宽度的相似度scoreP(T_m[i],F_n[j]).w为$scoreP\left(T_m\left[i\right],F_n\left[j\right]\right).w=\left\{\begin{array}{cc}0& T_m\left[i\right].w\ne F_n\left[j\right].w\\ 1+addweight& T_m\left[i\right].w=F_n\left[j\right].w\end{array}\right.$其中，T_m[i].w＝F_n[j].w表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词宽度相同，T_m[i].w≠F_n[j].w表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词宽度不同；所述的宽度为分词的长度；(4)计算报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词关于语义的相似度scoreP(T_m[i],F_n[j]).s为$scoreP\left(T_m\right[i],F_n[j\left]\right).s=\left\{\begin{array}{cc}0& T_m\left[i\right].s\ne F_n\left[j\right].s\\ 1+addweight& T_m\left[i\right].s=F_n\left[j\right].s\end{array}\right.$其中，T_m[i].s＝F_n[j].s表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词语义相同，T_m[i].s≠F_n[j].s表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词语义不同；所述的语义为分词的含义；(5)计算报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词关于类型的相似度scoreP(T_m[i],F_n[j]).t为$scoreP\left(T_m\right[i],F_n[j\left]\right).t=\left\{\begin{array}{cc}0& T_m\left[i\right].t\ne F_n\left[j\right].t\\ 1+addweight& T_m\left[i\right].t=F_n\left[j\right].t\end{array}\right.$所述的类型为分词类型，其中，分词类型包括文本、二进制，T_m[i].t＝F_n[j].t表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词类型相同，T_m[i].t≠F_n[j].t表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词类型不同；(6)计算报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词关于数据内容的相似度scoreP(T_m[i],F_n[j]).d为$scoreP\left(T_m\right[i],F_n[j\left]\right).d=\left\{\begin{array}{cc}0& T_m\left[i\right].d\ne F_n\left[j\right].d\\ 1+addweight& T_m\left[i\right].d=F_n\left[j\right].d\end{array}\right.$所述的数据内容为分词的取值；其中，T_m[i].d＝F_n[j].d表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词数据内容相同，T_m[i].d≠F_n[j].d表示报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词数据内容不同；(7)计算得到报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词的相似度scoreP(T_m[i],F_n[j])为scoreP(T_m[i],F_n[j])＝scoreP(T_m[i],F_n[j]).o+scoreP(T_m[i],F_n[j]).w+scoreP(T_m[i],F_n[j]).s+scoreP(T_m[i],F_n[j]).t+scoreP(T_m[i],F_n[j]).d；(8)分别计算报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词的相对位置dis(T_m[i],F_n[j])＝|T_m[i].o‑F_n[j].o|，进而计算得到修正后的报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词的相似度scoreD(T_m[i],F_n[j])为$\begin{array}{c}scoreD\left(T_m\left[i\right],F_n\left[j\right]\right)=\\ \left\{\begin{array}{cc}scoreP\left(T_m\left[i\right],F_n\left[j\right]\right)*\left(1-\frac{dis\left(T_m\left[i\right],F_n\left[j\right]\right)}{10}\right)& 0\le dis\left(T_m\left[i\right],F_n\left[j\right]\right)\le 10\\ 0& dis\left(T_m\left[i\right],F_n\left[j\right]\right)>10\end{array}\right.\end{array};$(9)将scoreD(T_m[i],F_n[j])作为最终的报文分词序列T_m中第i个分词与报文分词序列F_n中第j个分词的相似度score(T_m[i],F_n[j])，重复步骤(2)‑步骤(8)得到各个报文分词序列中各个分词的相似度；(10)计算报文分词序列T_i与报文分词序列F_j的相似度MS[i,j]为$MS\left[i,j\right]=\left\{\begin{array}{cc}0& i=0orj=0\\ \max \left\{\begin{array}{c}\left(MS\left[i-1,j-1\right]+score\left(T_m\left[i\right],F_n\left[j\right]\right)\right),\\ MS\left[i-1,j\right],\\ MS\left[i,j-1\right]\end{array}\right\}& i\ne 0andj\ne 0\end{array}\right.$其中，i的初值为1，j的初值为1，T_i为包括报文分词序列T_m中第e个分词的报文分词序列，e＝1，2，3…i；(11)i＝i+1，重复步骤(10)，直至i＝m；(12)j＝j+1，重复步骤(10)‑步骤(11)，直至j＝n，得到报文分词序列T_m与报文分词序列F_n的相似度MS[m,n]，从而得到各个报文分词序列间的相似度；(13)根据步骤(12)得到的各个报文分词序列间的相似度，对各个报文分词序列进行聚类，得到不同的报文序列聚类，并记为C₁，C₂，…，C_k，其中，k为聚类个数，k＝1，2，3…g，g为报分词文序列个数；(14)计算聚类有效性评价指标Dunn(k)为$Dunn\left(k\right)=\frac{\underset{1\le i<k}{min}\left\{\underset{i<j\le k}{min}\right\{\delta (C_i,C_j)\left\}\right\}}{\underset{1\le j\le k}{max}\left\{\Delta \left(C_j\right)\right\}}$其中，d(T_m,F_n)＝min{dis(T_m[i],F_n[j])}；(15)选取聚类有效性评价指标Dunn(k)最大的报文序列聚类C₁，C₂，…，C_k作为聚类结果。