一种话单排重方法及装置

摘要

本发明公开了一种话单排重方法及装置，提取话单记录中的关键信息生成特征串，按照一定规则将其存放在不同目录下的不同文件中，处理一条话单记录时，如果在对应特征串文件中找到相同特征串的记录则表示出现重复，否则将这条话单记录写入话单文件，并将特征串添加至对应的特征串文件。直接使用文件系统进行话单排重处理，不需要专用数据库系统和巨大的内存，而是通过提取话单记录的关键信息生成特征串，均匀分散到众多的小文件中，实现快速定位查找，可靠性高，投资小，成本低，易于实施，便于移植，可以实现在大时间跨度内海量数据的高效话单排重。

主权项

1、一种话单排重方法，其特征在于，该方法包含以下步骤：A、提取当前话单记录的关键信息生成特征串；B、通过特征串的规则计算定位特征串列表文件中的特征串文件；C、判断是否在所述特征串文件中查找到当前话单记录的所述特征串，如果查找到，则直接丢弃当前话单记录；如果未查找到，则将当前话单记录写入话单文件中；所述步骤C包括：C1、判断特征串列表文件中是否存在对应于所述特征串文件名称的特征串文件，如果存在，则继续执行步骤C2，如果不存在，则继续执行步骤C3；C2、判断是否在所述特征串文件中查找到当前话单记录的特征串，如果查找到，则直接丢弃该话单记录，结束当前流程，如果未查找到，则将当前话单记录写入话单文件中，并在所述特征串文件中添加当前话单记录的特征串；C3、将当前话单记录写入话单文件中，并在特征串列表文件中创建对应于所述特征串文件名称的特征串文件。