| 摘要 |
<p>맵리듀스 순환 처리 장치가 개시된다. 맵리듀스 순환 처리 장치는 입력된 순환 처리 잡(job)을 스텝으로 분리하여 관리하는 순환 잡 트래커, 스텝으로 분리된 잡을 복수의 태스크들로 나누어 각각 복수의 노드들에 할당하는 태스크 스케줄러, 복수의 노드들에 할당된 복수의 태스크들을 관리하는 태스크 트래커, 각 태스크 처리시 불변 데이터를 검출하는 불변 데이터 관리 모듈, 불변 데이터를 캐싱하는 인-메모리 캐싱 모듈 및 불변 데이터에 인덱스를 제공하여 순환 처리시 인덱스를 기초로 불변 데이터를 이전 작업 노드와 동일한 노드로 할당하는 노드-파티션 매핑 모듈을 포함한다. 이에 따라, 기존 하둡 플랫폼과 호환되고, 불변 데이터를 자동 검출하여 캐싱함으로써 불필요한 네트워크 트래픽을 감소시켜 데이터를 빠르게 처리할 수 있다.</p> |
