一种流数据处理的方法、装置及系统

摘要

本发明实施例提供一种流数据处理方法，该方法应用于流计算系统中的工作节点，所述方法包括：获取源算子的初始分时下限值；接收所述业务数据，将所述业务数据流封装成三元组流数据，所述三元组流数据携带有时间戳和唯一标识该业务数据的数据标识；根据所述三元组流数据及所述源算子的初始分时下限值构建小批量数据集mini-batch，所述时间戳用于指示所述构建过程中数据的有序性，所述唯一标识用于指示所述构建过程中数据的唯一性；对所述小批量数据集mini-batch进行处理，输出处理后的数据。本发明实施例基于三元组流数据的有序性和唯一性实现流计算系统的可靠性，基于初始分时下限值可以提高流计算系统的计算吞吐量，从而保证了流计算系统可靠性的同时又提升了流计算吞吐能力。

主权项

一种流数据处理方法，所述方法应用于流计算系统中的工作节点，所述工作节点上部署有至少一个源算子，以处理业务数据，其特征在于，所述方法包括：获取所述源算子的初始分时下限值；接收所述业务数据，将所述业务数据流封装成三元组流数据，所述三元组流数据携带有时间戳和唯一标识该业务数据的数据标识；根据所述三元组流数据及所述源算子的初始分时下限值构建小批量数据集mini‑batch，所述时间戳用于指示所述构建过程中数据的有序性，所述唯一标识用于指示所述构建过程中数据的唯一性；对所述小批量数据集mini‑batch进行处理，输出处理后的数据。