一种实时计算平台的数据处理方法和装置

摘要

本发明公开了一种实时计算平台的数据处理方法和装置。该方法包括：接收计算任务，读取该计算任务的配置信息；根据配置信息中的数据源信息，从相应数据源接收实时输入的待处理数据；判断配置信息中是否包含去重统计规则；是则，将接收到的待处理数据通过压缩空间占用的数据结构进行存储；根据配置信息中的去重统计规则，对存储的待处理数据进行去重统计。本方案将接收到的待处理数据通过压缩空间占用的数据结构进行存储，根据配置信息中的去重统计规则对以压缩空间占用的数据结构存储的待处理数据进行去重统计，利用了去重统计中需要“去重”的特点，通过改变待处理数据存储方式来换取空间，减轻实时计算平台在工作负荷，提高实时计算平台的工作效率。

主权项

一种实时计算平台的数据处理方法，其中，该方法包括：接收计算任务，读取该计算任务的配置信息；根据所述配置信息中的数据源信息，从相应数据源接收实时输入的待处理数据；判断所述配置信息中是否包含去重统计规则；是则，将接收到的待处理数据通过压缩空间占用的数据结构进行存储；根据所述配置信息中的去重统计规则，对存储的待处理数据进行去重统计。