巨量串流数据实时处理方法及其装置与应用系统

摘要

本发明公开了一种巨量串流数据实时处理方法、执行该方法的串流数据处理引擎以及一种巨量串流数据实时处理系统，通过该方法可以将巨量串流数据进行实时性处理。作法上针对来自不同来源的关系数据库的各类数据进行实时处理，例如对各类数据进行判断与转换后存入另一非关系型数据中，以利后续实时查询或相关报表产生。进一步地，本发明亦依此为基础提出执行该方法所对应的装置架构，且更运用该方法与装置架构技术，为各产业增进产品、产线或服务的生命周期管理，例如在线游戏的绩效分析信息回馈，或例如半导体等制造业的阶段性制作过程合格率实时告警与对应处理建议。

主权项

一种巨量串流数据实时处理方法，用于通过网络联机接收至少一关系数据库提供的多个串流数据并对其进行实时数据处理后，对应输出至至少一非关系数据库并储存，其特征在于，该方法包含以下步骤：根据网络联机的多个端口识别该关系数据库的数据种类；设定由该关系数据库传送的该多个串流数据的通讯模式为同步式模式或异步式模式；根据一主索引依序取得每笔递增的该多个串流数据；判断作为来源提供的该关系数据库与作为目的接收的该非关系数据库的数据型态是否一致，若一致则该多个串流数据无需转换，若不一致则将该多个串流数据转换成该非关系数据库的数据型态；及根据该通讯模式将转换后或无须转换的该多个串流数据对应写入该非关系数据库。