低レイテンシデータアクセス用のデータストリーム分割

摘要

データストリームを分割することによってログデータ処理を促進し加速するための技術が、本明細書で開示される。フロントエンドクラスタは、大量のログデータをリアルタイムで生成し、ログデータを集約クラスタに転送する。集約クラスタは、異なるフロントエンドサーバ及びクラスタからの着信ログデータストリームを集約するように設計される。集約クラスタは更に、データストリームが受信アプリケーションに並列に送信されるように、ログデータを複数のデータストリームに分割する。一実施形態において、ログデータは、ログデータが分割データストリームに均等に分配されることを保証するように、ランダムに分割される。別の実施形態において、分割データストリームを受信するアプリケーションは、どのようにログデータを分割するかを決定する。