用于处理网络元数据的流式传输方法和系统

摘要

本发明描述一种用于处理网络元数据的方法和系统。可以通过动态地实例化的可执行软件模块来处理网络元数据，所述动态地实例化的可执行软件模块关于网络元数据的特性和关于网络元数据向网络元数据所承载的信息的消耗方的呈现作出基于策略的决策。可以对所述网络元数据进行类型分类，并且可以通过唯一指纹值将类型内的每一子类映射到一个定义。可以使用所述指纹值根据相关策略和变换规则匹配所述网络元数据子类。对于例如NetFlow v9等基于模板的网络元数据，本发明的一实施例可以不断地监控网络业务以发现未知的模板、捕获模板定义，并且告知管理员不存在定制策略和转换规则的模板。转换模块可以高效地将所选类型和/或子类的网络元数据转换成替代的元数据格式。

主权项

一种处理在使用一个或多个网络协议发射网络业务的网络上产生的网络元数据的方法，所述网络包含一些装置，所述装置中的至少一些通过入接口接收网络业务，并且通过出接口发射网络业务，所述方法包括以下步骤：以至少一种数据格式从数据处理系统中的多个源接收网络元数据；确定所述网络元数据的类型或特性；处理所述网络元数据以从中提取有用信息；至少部分响应于所述确定步骤的结果，将所述网络元数据的至少一部分转换成在所述数据处理系统中用于其它系统元数据的一个或多个不同数据格式；其中在所述网络元数据在所述网络上在产生了所述网络元数据的网络装置与能够存储所述网络元数据的装置之间移行时执行所述处理步骤；以及其中通过应用管理网络元数据处理的至少一种策略来实现所述处理步骤，其中出于将流导出器所报告的流信息去除重复的目的应用所述至少一种策略，以及其中所述至少一种策略包含以下步骤：接收含有通信端点的IP地址和提供了所述流记录的装置的IP地址的流记录；指出接收到所述记录的时间；在存储器中维持关于通信端点的IP地址、流报告装置的IP地址和最后观察到的通信的时间的信息；所述信息是所述流报告装置所利用的至少一些通信路径的频率的指示符；基于所述存储器信息选择报告所述流的其它流报告装置当中具有最高使用频率的流报告装置，并且将所述最高频率流报告装置指定为关于所述网络端点之间的通信的权威信息源；在一个以上流报告装置具有在所述存储器信息中反映的相同最高使用频率的情况下，进一步基于从由以下各项组成的群组选出的准则将关于所述网络端点之间的通信的所述权威信息源的身份去除模糊：流报告装置报告所述流的时间，所述流报告装置提交的所述流记录中报告的存活时间计数器，和所述流报告装置所提交的所述流记录中报告的下一跳IP地址；转发关于所述通信端点之间的通信的从所述权威流报告装置接收到的流记录以供进一步处理；以及丢弃关于所述通信端点之间的通信的从其它流报告装置接收到的流记录。