数据处理方法、数据处理装置及计算机可读存储介质

摘要

本发明提供一种数据处理方法、计算机系统及计算机可读存储介质，所述方法包括接收记录流，每个记录包括一个或多个字段和对应值；在多个处理器之间分割所述记录流；为每个记录生成在各记录中具有值的每个字段的字段值对，所述字段值对表示各记录中的字段和用于所述字段的对应值；为每个处理器生成每个相异字段值对的调查元素，所述调查元素包括表示所述相异字段和所述相异值的字段值对的计数；基于用于各字段的所述调查元素计算所述记录流中每个字段的统计数字；以及基于对应的统计数字为所述记录流中的每个字段生成概要。本发明可以自动确定或协同用户确定的信息可以用于转存数据源的元数据，之后用于进一步的处理。

主权项

一种数据处理方法，包括如下步骤：接收记录流，每个记录包括一个或多个字段和对应值；在多个处理器之间分割所述记录流；为所述记录流中一个或多个记录中的每个：确定记录中的特定字段是否为条件字段；如果所述特定字段为条件字段，确定所述特定字段是否具有值；以及如果所述特定字段不是条件字段，或者如果所述特定字段为条件字段且具有值，产生用于所述特定字段的字段值对；为每个处理器生成每个相异字段值对的调查记录，所述调查记录包括表示相异字段和相异值的字段值对的计数；基于用于各字段的所述调查记录计算所述记录流中每个字段的统计数字；以及基于对应的统计数字为所述记录流中的每个字段生成概要。