多类型数据的一致性预处理方法

摘要

一种多类型数据的一致性预处理方法中，将数据类型分为文本类型字段、日期类型字段和数据本身三种类型，实现了将不同来源不同类型的数据进行统一的处理，清除了数据中的杂质，并从中提取出有价值的内容供后续处理使用，统一的处理使得后续处理方便而快捷，不需要再做重复的劳动，节省了整个系统的资源，同时灵活的配置可以使不同的系统在这里获得不同的效果，实现了一份数据在同一个服务下面向不同系统进行有针对性的处理。

主权项

一种多类型数据的一致性预处理方法，包括以下步骤：A、对时间类型字段进行处理，将时间类型字段数据根据时间归一化算法进行归一化，得到格式统一的时间字段；B、对文本类型字段数据进行汉字的繁简转换；C、对文本类型字段数据进行HTML标签的过滤，将数据变为人工可阅读的形式；D、对文本类型字段数据进行分词；E、基于分词结果提取数据中的关键词；F、基于分词结果提取数据中的摘要，通过摘要预览数据内容；G、基于分词结果提取数据中的时间，将数据中行文的时间提取出来，并加以归一化；H、对文本类型字段数据进行联系方式的提取；I、提取文本类型字段数据中的微博要素；J、对数据本身的类型错误进行修正；K、对数据本身的来源进行修正；L、为数据本身提供唯一语义指纹。