云中的分布式流处理

摘要

低延迟云规模计算环境包括查询语言、优化、调度、错误容错和错误恢复。事件模型可以用于扩展声明性查询语言，使得可以执行事件流的事件的时间分析。提取器和输出器可用于定义和实现扩展基于事件的查询语言的能力的功能。以被扩展的查询语言编写的脚本可以被转换为最优并行连续执行计划。可以由调度可用计算机器上的顶点的流传输作业管理器来编排计划的执行。流传输作业管理器可以监视整个作业执行。可以通过跟踪每个顶点中的执行进度和数据依赖性来提供容错。在故障的情况下，可以调度故障顶点的另一个实例。可以基于检查点和数据依赖性来确定最优恢复点。

主权项

一种用于执行分布式流处理的系统，包括：至少一个处理器；连接到所述至少一个处理器的存储器；以及至少一个程序模块，包括流传输作业管理器，所述流传输作业管理器监视关于由在多个计算设备上执行的多个顶点执行的流传输作业的执行信息，所述流传输作业管理器接收针对所述多个顶点的执行进度信息和数据依赖性，所述流传输作业管理器响应于检测到所述多个顶点中的故障顶点来调度新顶点，所述流传输作业管理器确定在所述新顶点上从其重新开始处理的最近的检查点。