串行接入的高速骨干网络流量采集与监控方法

摘要

本发明公开了一种串行接入的高速骨干网络流量采集与监控方法，目的是解决目前监控方法不能对网络流量进行实时管控的缺点。技术方案是先改进输入卡，输入卡中增加报文复制模块、串行处理通道，第二采样模块；串行处理通道由流模块和第一采样模块组成，流模块决定对某条流的报文阻断、全部输出或者采样输出；接着修改交换控制卡中控制软件的初始化输入卡程序，由该程序对流量采集与监控系统所有卡进行初始化；采用输入卡对核心骨干网流量进行采集与监控。本发明是串行处理通道和并行处理通道协同对网络流量进行采集和监控的方法，能对网络流量进行实时的控制，并能实时上传流量控制规则，发现有害信息时能立即阻止其传播。

主权项

一种串行接入的高速骨干网络流量采集与监控方法，其特征在于包括以下步骤：第一步，改进输入卡，输入卡中增加报文复制模块、串行处理通道，在输入卡并行处理通道中增加第二采样模块；报文复制模块与受监控的高速骨干网相连，将从受监控高速骨干网过来的报文复制一份，将进来的报文送入串行处理通道，将复制的报文送入并行处理通道；串行处理通道由流模块和第一采样模块组成；流模块与报文复制模块、第一采样模块及受监控高速骨干网相连，流模块是一个控制逻辑，决定对某条流的报文阻断、全部输出或者采样输出；第一采样模块与流模块、交换控制卡及受监控高速骨干网相连，采用第一采样算法对从流模块传来的报文执行报文阻断或采样输出；并行处理通道由五元组加关键字模块和第二采样模块组成，五元组加关键字模块与报文复制模块相连，该模块对从报文复制模块来的报文进行规则匹配，确定将报文丢弃还是转发给第二采样模块，第二采样模块与五元组加关键字模块和交换控制卡相连，采用第二采样算法对从五元组加关键字模块来的报文进行丢弃或采样输出到交换控制卡；流模块由流控制单元、流规则表及流业务统计表组成；流规则表与流业务统计表都与流控制单元相连，流规则表表项个数N根据存储空间大小确定，每一个表项即是一条流规则，流规则由规则ID、业务ID、信息域和处理域组成，信息域包括源IP即sip、目的IP即dip、源端口即sport、目的端口即dport、协议即pro，这五个元素简称为fiveEle，处理域指抽样粒度即samRate，即对某条流的报文抽样的比例；流业务统计表表项个数M根据受监控高速骨干网络业务种类数目确定，该表包括业务ID即proId和报文数即packets两个域；proId指每类业务的ID号，packets指属于此类业务的报文数；proId由控制软件按递增的顺序初始化，报文数由流控制单元填写；流控制单元由第一取信息模块、第一改报文头模块及第一更新统计模块组成，第一取信息模块与报文复制模块、流规则表、第一改报文头模块、第一更新统计模块及受监控高速骨干网相连；第一改报文头模块与第一取信息模块及第一采样模块相连；第一更新统计模块与第一取信息模块及流业务统计表相连；第一取信息模块从报文复制模块获得报文后，先提取报文的fiveEle，将fiveEle与流规则表中的流规则逐条进行匹配，如果fiveEle与流规则表某个表项信息域sip、dip、sport、dport、pro一致，则报文匹配成功，第一取信息模块提取该表项业务ID及处理域samRate，将报文和samRate发送给第一改报文头模块，将业务ID发送给第一更新统计模块；第一更新统计模块根据业务ID号查找流业务统计表的proId，当proId等于业务ID时，更新流业务统计表中该表项的packets；第一改报文头模块修改报文头部信息，将samRate加到报文头部，并将加了samRate的报文发送给第一采样模块；如果第一取信息模块提取报文fiveEle后没有与流规则表匹配成功，则将该报文直接输出到受监控高速骨干网络；输入卡串行处理通道的第一采样模块是一个采样控制逻辑，第一采样模块从流模块接收添加了samRate的报文，提取samRate，根据samRate对报文采取控制，方法是：如果samRate为0，则阻断报文即报文不再往后发送；如果samRate为15，则发送报文；如果samRate大于0且小于15，则提取报文IP头的ID即16位的IP头标识符，如果ID的最低四位ID_low4小于samRate，则发送报文，否则，阻断该报文。对输入卡并行处理通道的五元组加关键字模块也进行了改进，五元组加关键字模块由控制逻辑、五元组加关键字规则表及五元组加关键字业务统计表组成，五元组加关键字规则表与五元组加关键字业务统计表都与控制逻辑相连。控制逻辑由第二取信息模块、第二改报文头模块及第二更新统计模块组成，第二取信息模块与报文复制模块、五元组加关键字规则表、第二改报文头模块、第二更新统计模块相连；第二改报文头模块与第二取信息模块及第二采样模块相连；第二更新统计模块与第二取信息模块及五元组加关键字业务统计表相连。五元组加关键字规则表每一个表项是一条五元组加关键字规则，五元组加关键字规则由规则ID、业务ID、信息段和处理段四个域组成，规则ID、业务ID与流规则中的规则ID、业务ID一样，信息段包括sip、dip、sport、dport、pro和关键字sig，处理段包括流标志stream、抽样粒度samRate、MAC索引macInd、转发端口port、转发卡号card五项内容，五元组加关键字规则表通过交换控制卡上的控制软件配置；第二取信息模块将报文fiveEle和关键字sig即报文内容最前面前16个字节提取后与五元组加关键字规则表进行匹配，若匹配规则成功，第二更新业务统计模块根据业务ID更新五元组加关键字业务统计表；第二改报文头模块将该规则的samRate、macInd、port、card全部加在报文头部，并将修改了头部的报文发送给第二采样模块，第二采样模块逻辑结构与串行通道的第一采样模块相同。若匹配不成功，第二取信息模块将该报文丢弃；第二步，修改交换控制卡中控制软件的初始化输入卡程序，修改后的初始化输入卡程序流程如下：2.1初始化五元组加关键字规则表，五元组加关键字规则表中每条规则添加stream和samRate两项，stream初始化为0，即不产生流规则；samRate也初始化为0，即报文处理方法为丢弃；信息段和处理段其它内容也初始化一个默认值，当配置新的规则时，这些数据将被改变；2.2初始化五元组加关键字业务统计表，proId初始化为从0开始依次递增，packets初始化为0；2.3初始化流规则表，所有规则的samRate值设置为15，即默认报文处理方法为输出；fiveEle初始化值跟五元组加关键字规则表一样；2.4初始化流业务统计表，proId初始化为从0开始依次递增，packets初始化为0；第三步，由输入卡和交换控制卡对核心骨干网流量进行采集与监控，方法如下：3.1由交换控制卡的控制软件对流量采集与监控系统所有卡进行初始化；3.2由控制软件对五元组加关键字规则表添加五元组加关键字规则，根据实际被监控高速骨干网络的IP、端口、协议，控制软件配置多条五元组加关键字规则；3.3输入卡的报文复制模块从受监控的核心骨干网高速链路上截获原始报文，将报文复制一份，将原始报文送入串行处理通道，将复制的报文送入并行处理通道；3.4串行处理通道的流模块对收到的原始报文进行流规则匹配，将原始报文与流规则表进行匹配，如果匹配成功，流模块的流控制单元提取该表项处理域处理方法即samRate及业务ID，根据业务ID查找流业务统计表的proId，找到与业务ID相同的proId后更新此表项packets，并修改报文头部信息，将samRate加入报文头部，发送给第一采样模块；具体过程如下：3.4.1：当报文进入流模块后，流控制单元的第一取信息模块从报文中提取fiveEle，令i初始值为 1；3.4.2：i＝i+1，第一取信息模块将fiveEle与流规则表规则ID为i的表项进行匹配，如果fiveEle与这条规则的信息域sip、dip、sport、dport、pro相同，则匹配成功，进入3.4.3；匹配不成功时，如果i＝65535，则转3.4.8，否则执行3.4.2；3.4.3：第一取信息模块根据匹配成功的规则ID号读取该条规则业务ID及处理域samRate；3.4.4：第一更新统计模块根据业务ID查找流业务统计表的proId，当某个表项的proId等于业务ID时，则更新此表项packets，将此表项packets加1；3.4.5：第一改报文头模块修改报文头部信息，将samRate加入报文头部，然后将加了samRate的报文发送到第一采样模块；3.4.6：第一采样模块从报文头部提取samRate，如果samRate＝0，则阻断此报文；如果samRate＝15，则发送报文；如果0＜samRate＜15，则使用第一采样算法对该报文进行处理；3.4.7：转3.4.9；3.4.8：流控制单元的第一取信息模块将报文直接发送到高速骨干网；3.4.9：串行处理通道完成规则匹配及报文处理；3.5并行处理通道的五元组加关键字模块对报文进行如下处理：3.5.1：五元组加关键字模块控制逻辑的第二取信息模块从输入的报文中提取fiveEle和报文内容最前面前16个字节sig，令i初始值为 1；3.5.2：i＝i+1，第二取信息模块将fiveEle和sig与五元组加关键字规则表规则ID为i的表项进行匹配，如果fiveEle和sig与规则ID为i的规则的信息段sip、dip、sport、dport、pro、sig对应内容都相同，则匹配成功，进入3.5.3；匹配不成功时，如果i＝65535，则转3.5.8，否则执行3.5.2；3.5.3：第二取信息模块根据匹配成功的规则ID号读取该条规则业务ID及处理段stream、samRate、macInd、port及card，如果stream＝1，则从这条规则中提取fiveEle信息和samRate添加一条流规则到流规则表，此条流规则ID由已有流规则数目决定，若已经添加k条流规则，则此条流规则ID为k，k为正整数，规则ID为0～k 1；3.5.4：第二更新统计模块根据第二取信息模块读取的业务ID查找五元组加关键字业务统计表的proId，当某个表项的proId等于业务ID时，则更新此表项packets，将此表项packets加1；3.5.5：控制逻辑的第二修改报文头模块修改报文头部信息，将samRate、macInd、port、card加入报文头部，然后将修改之后的报文发送到第二采样模块；3.5.6：第二采样模块提取报文头部samRate、macInd、port和card，如果samRate＝0，则丢弃此报文；如果samRate＝15，则将报文发送给交换控制卡，该报文将从卡号为card且端口号为port的输出卡输出到编号为macInd的后端分析系统；如果0＜samRate＜15，则使用第二采样算法对该报文进行处理；3.5.7：进入3.5.8；3.5.8：控制逻辑的第二取信息模块将报文丢弃；3.5.9：并行处理通道完成规则匹配及报文处理。