日志萃取方法及装置

摘要

本发明提供一种日志萃取方法，包括：(a)基于日志源创建日志队列，(b)判断所读取的日志中是否存在数值型字符；(b)在判断为存在数值型字符时，将所读取的日志中的每个数值型字符都替换为一个预设的特殊字符；(c)计算替换后的日志与线程缓存器中存储的日志之间的相似度；(d)判断所计算出的相似度是否大于第一阈值，其中在所计算出的各相似度都不大于第一阈值时，将所读取的日志添加到线程缓存器并写入到日志全集中；以及(e)针对从日志队列中读取的下一日志，重复进行步骤(a)到(d)，直到已经处理完所有日志为止。利用该日志萃取方法及装置，可以在计算相似度的算法固定的情况下，加快处理速度，并提高重复日志判断的准确性。

主权项

一种基于单线程的日志萃取方法，包括：(a)基于日志源创建日志队列；(b)针对从日志队列中读取的日志，判断所读取的日志中是否存在数值型字符；(c)在判断为该所读取的日志中存在数值型字符时，将该所读取的日志中的数值型字符的每一个都替换为一个预设的特殊字符；(d)计算替换后的该所读取的日志与线程缓存器中存储的各日志之间的相似度；(e)判断所计算出的相似度是否大于第一阈值，其中在所计算出的各相似度都不大于第一阈值时，将该所读取的日志添加到所述线程缓存器并作为要萃取的日志写入到日志全集中；以及(f)针对从日志队列中读取的下一日志，重复进行步骤(a)到(e)，直到已经处理完所有日志为止，其中，所述日志是指网络设备在运行过程中，按照某种机制，定时或条件触发地发出的信息。