Verwalten von Verarbeitungselementen in einem Streaming-Datensystem

摘要

Datenstromanwendungen können die Hardware-Ressourcen unwirksam nutzen, die die Verarbeitungselemente des Datenstroms ausführen. Ein Rechenknoten kann zum Beispiel vier Verarbeitungselemente beherbergen und jedes jeweils unter Verwenden einer CPU ausführen. Andere CPUs auf dem Rechenknoten können jedoch inaktiv sein. Um diese verfügbaren Hardware-Ressourcen zu nutzen, kann ein Datenstromprogrammierer ein oder mehrere Verarbeitungselemente identifizieren, die geklont sein können. Die geklonten Verarbeitungselemente können verwendet werden, um einen anderen Ausführungspfad zu erzeugen, der parallel zu dem Ausführungspfad besteht, der die ursprünglichen Verarbeitungselemente enthält. Da die geklonten Verarbeitungselemente dieselben Operatoren enthalten wie die ursprünglichen Verarbeitungselemente, kann der Datenstrom, der zuvor nur durch das ursprüngliche Verarbeitungselement geflossen ist, geteilt und sowohl durch die ursprünglichen als auch die geklonten Verarbeitungselemente gesendet werden. Auf diese Weise kann der parallele Ausführungspfad nicht voll ausgelastete Hardware-Ressourcen verwenden, um den Durchsatz des Datenstroms zu verbessern.