| 摘要 |
<p>데이터 스트림을 분할하여 로그 데이터 프로세싱을 용이화하고 가속화하는 기술이 여기에서 개시된다. 전단 클러스터(front-end cluster)는 실시간으로 많은 양의 로그 데이터를 생성하고, 로그 데이터를 집성 클러스터(aggregating cluter)에 전송한다. 집성 클러스터는 상이한 전단 서버 및 클러스터로부터 유입되는 로그 데이터 스트림을 집성하도록 설계된다. 집성 클러스터는 또한, 로그 데이터를 복수의 데이터 스트림으로 분할하여 데이터 스트림이 병렬로 수신 애플리케이션에 전송되도록 한다. 일실시예에서, 로그 데이터가 분할된 데이터 스트림에 균일하게 분산되는 것을 보장하기 위해 로그 데이터는 랜덤하게 분할된다. 다른 실시예에서, 분할된 데이터 스트림을 수신하는 애플리케이션은 어떻게 로그 데이터를 분할할지를 결정한다.</p> |
