비디오: HBase Tutorial For Beginners | HBase In Hadoop | Apache HBase Tutorial |Hadoop Tutorial |Simplilearn 2024
Hadoop은 MapReduce 및 HDFS (Hadoop Distributed File System) 이상입니다. 또한 분산 컴퓨팅 및 대규모 시스템을위한 관련 프로젝트 (실제로는 생태계) 데이터 처리. 대부분의 프로젝트 (전부는 아님)는 Apache Software Foundation에서 호스팅합니다. 표에는 이러한 프로젝트 중 일부가 나와 있습니다.
| 프로젝트 이름 | 설명 |
|---|---|
| Ambari | Hadoop 클러스터 설치, 모니터링 및 유지 보수를위한 Hadoop 관리 도구의 통합 세트. 또한
는 슬레이브 노드를 추가하거나 제거하는 도구입니다. Avro |
| 데이터를 컴팩트 한 바이너리 형식으로 효율적 직렬화 (일종의 | 변환)하기위한 프레임 워크
Flume |
| 대용량 로그 | > 데이터를 Hadoop에 저장
HBase |
| 기본 저장소에 HDFS를 사용하는 분산 된 컬럼 데이터베이스. HBase를 사용하면 가변적 인 컬럼 구조를 가진 매우 큰 테이블에 데이터를 저장할 수 있습니다. | HCatalog
테이블 형식 데이터에 대한 표준 접근법을 포함하여 Hadoop에 저장된 데이터의 관계형보기를 제공하는 서비스 |
| Hive | HDFS에 저장된 데이터에 대한 분산 데이터웨어 하우스.
는 SQL |
| (HiveQL) | 색조를 기반으로하는 쿼리 언어도 제공합니다.
파일 탐색 용 편리한 GUI 도구와 Hadoop 관리 인터페이스, Hive 및 Pig 쿼리 발행 및 Oozie < 워크 플로우 Mahout |
| MapReduce에서 구현 된 | 기계 학습 통계 알고리즘의 라이브러리로, Hadoop에서 기본적으로 실행할 수 있습니다.
Oozie 스케쥴링을 처리 할 수있는 워크 플로우 관리 도구와 |
| > Hadoop 응용 프로그램을 함께 연결 | Pig
HDFS에서 실행되는 매우 큰 데이터 세트를 분석하기위한 플랫폼 및 MapReduce 프로그램의 시퀀스를 생성하는 컴파일러 |
| 로 구성된 인프라 계층으로 | 관계형 데이터베이스와 HDFS간에 많은 양의 데이터를 효율적으로 이동시키기위한 도구
ZooKeeper |
| 중앙 집중화 된 인터페이스에 대한 간단한 인터페이스 서비스의 조정 | (예: 명명, 구성 및 동기화)
분산 응용 프로그램
그림은 다양한 하둡 생태계 프로젝트와 이들이 서로 어떻게 관련되어 있는지를 보여줍니다. |
