하둡(Hadoop) 생태계와 맵리듀스의 관계

맵리듀스는 구글이 발표한 논문 속 '개념'이자 '모델'이었으며, 이를 실제 누구나 사용할 수 있도록 오픈소스로 구현한 프로젝트가 바로 아파치 하둡(Apache Hadoop)입니다.

초기 하둡 생태계에서 맵리듀스는 데이터 처리의 심장과도 같은 역할을 했습니다.

• HDFS (Hadoop Distributed File System): 분산 데이터 저장소입니다. 맵리듀스는 HDFS에 저장된 방대한 데이터를 읽어와서 처리하고, 그 결과를 다시 HDFS에 저장합니다.

• 초기 하둡 (Hadoop v1): 맵리듀스가 데이터 처리 로직뿐만 아니라 클러스터의 자원(CPU, 메모리) 할당과 작업 스케줄링까지 모두 담당했습니다. 이로 인해 시스템에 과부하가 걸리기 쉬웠습니다.

• 하둡 2.0 이후 (YARN 도입): 자원 관리 기능을 YARN(Yet Another Resource Negotiator)이라는 별도의 컴포넌트로 분리했습니다. 덕분에 하둡 위에서 맵리듀스뿐만 아니라 스파크(Spark) 등 다양한 데이터 처리 엔진을 동시에 실행할 수 있는 유연한 생태계가 완성되었습니다.

---

맵리듀스의 한계와 아파치 스파크(Apache Spark)의 등장

맵리듀스는 대용량 데이터를 안정적으로 처리하는 데 탁월했지만, 치명적인 단점은 '속도'였습니다. 맵리듀스는 각 작업 단계(Map, Reduce)가 끝날 때마다 중간 결과물을 하드 디스크(HDFS)에 쓰고, 다음 단계에서 다시 디스크를 읽어오는 방식을 사용합니다. 이 반복적인 디스크 I/O(입출력) 과정이 엄청난 병목 현상을 일으켰습니다.

 

이러한 성능 한계를 극복하기 위해 등장한 차세대 처리 엔진이 바로 아파치 스파크(Apache Spark)입니다. 스파크는 디스크가 아닌 메모리(RAM) 위에서 데이터를 처리하여 속도를 비약적으로 끌어올렸습니다.

 

맵리듀스와 스파크 핵심 비교

구분	맵리듀스 (MapReduce)	아파치 스파크 (Apache Spark)
데이터 처리 방식	디스크(Disk) 기반 처리 (중간 데이터를 매번 디스크에 저장)	인메모리(In-Memory) 기반 처리 (중간 데이터를 메모리에 유지)
처리 속도	상대적으로 느림 (배치 작업 위주)	맵리듀스 대비 최대 100배 빠름
적합한 작업	대규모 텍스트 분석, 일괄 로그 처리 등 단순 반복적 배치(Batch) 작업	머신러닝, 그래프 연산 등 반복적인 알고리즘 연산 및 실시간 스트리밍 분석
개발 편의성	Map과 Reduce 함수 구조에 맞춰야 하므로 코드가 길고 복잡함	Java, Scala, Python, R 등 다양한 언어와 풍부한 API를 지원하여 개발이 간결함
장애 복구 방식	디스크에 저장된 데이터를 다시 읽어 복구	**RDD(Resilient Distributed Dataset)**라는 개념을 통해 메모리상에서 데이터 생성 과정을 역추적하여 복구

 

현재 빅데이터 실무에서는 단순하고 방대한 1회성 배치 처리에는 여전히 맵리듀스(하둡)가 쓰이기도 하지만, 빠른 응답이 필요하거나 복잡한 머신러닝 파이프라인을 구축할 때는 스파크를 표준처럼 사용하는 추세입니다.