基于字节级n元文法的特征提取方法及垃圾邮件过滤器

摘要

基于字节级n元文法的特征提取方法及垃圾邮件过滤器，涉及到包括垃圾邮件过滤技术在内的信息处理技术领域。它解决了现有文本特征提取方法中存在的需要词库支持，并不能够同时适应对英文、汉字、图形以及其它形式信息的特征提取、鉴别的问题，本发明的特征提取方法所提取的特征信息为m个长度为n个字节的信息片段序列。本发明的垃圾邮件过滤器中的分类器采用上述方法提取邮件的特征信息作为判断依据，并采用逻辑回归模型这一判别学模型从理论上保证能够取得良好的过滤性能；本发明的垃圾邮件过滤器中的训练器采用在线学方式，采用TONE(Train On or Near Error)方法调整特征权重。本发明的垃圾邮件过滤器尤其适用于中文垃圾邮件的过滤。

主权项

垃圾邮件过滤系统中的基于字节级n元文法的特征提取方法，其特征在于，该方法的提取对象是邮件，并且将邮件作为无差别的字节流对待，它对提取对象信息进行大小为n个字节的滑动窗口操作，获得m个长度为n的字节片断序列作为特征信息，所述m、n为大于0的整数，它是提取对象信息中的前m个长度为n的字节片断序列作为特征信息，或者后m个长度为n的字节片断序列作为特征信息。