Hadoop Common/ 하둡 프로젝트에서 사용하고 있는 공통 모듈
HDFS / 대용량, 고가용성, 많은 동시 접속 처리 등을 지원하는 분산 파일 시스템이다.
MapReduce / 대량의 데이터를 빠르고 간단하게 분석할 수 있는 분산/병렬 처리 프레임워크
HBase / HDFS에 데이터 파일을 저장하는 분산 데이터 관리 시스템
Chukwa / 분산 환경에서 로그를 수집하기 위한 시스템으로, 저장소로 HDFS를 이용하고 로그 분석을 위해 MapReduce를 이용
Hive / SQL과 비슷한 스크립트 질의를 이용해 HDFS에 저장된 데이터를 MapReduce로 분석하는 도구
Pig / Hive와 유사하게 스크립트 질의를 이용해 HDFS에 저장된 데이터를 MapReduce로 분석하는 도구이지만 단순 스크립트가 아닌 반복문, 제어문, 변수 등을 사용할 수 있다.
ZooKeeper / 분산 환경을 관리하는 분산 코디네이터
보통 Hadoop이라 하면 HDFS와 MapReduce, Common을 의미한다.
'Technology > System Architecture' 카테고리의 다른 글
| Architecture / 프로그래밍 잘하기 (0) | 2011.12.15 |
|---|---|
| System / SOAP vs REST (0) | 2011.07.02 |
| System Architect / Linux와 Apache Hadoop을 사용한 클라우드 컴퓨팅 (0) | 2011.05.26 |
| System Architect / Hive 설치 (0) | 2011.05.02 |
| System Architect / Hadoop 설치 (0) | 2011.05.02 |