Hadoop - Dummy의 근원과 디자인

비디오: Kenneth Cukier: Big data is better data 2025

로 알려진 상호 연결된 컴퓨터의 그룹입니다. Hadoop의 핵심은 Hadoop이라는 재미있는 이름을 가진 것입니다. Hadoop은 큰 클러스터에 데이터를 저장하기위한 프레임 워크입니다. commodity 하드웨어 - 저렴하고 쉽게 사용할 수있는 일상적인 컴퓨터 하드웨어 및 해당 데이터에 대해 응용 프로그램을 실행합니다. 클러스터 는 상호 연결된 컴퓨터 그룹입니다 ( 노드 ).

비즈니스 통찰력을 얻기 위해 저렴한 컴퓨팅 리소스 네트워크를 사용하는 것이 Hadoop의 핵심 가치 제안입니다.

그 이름은 Hadoop Doug Cutting의 아들이 그의 박제 코끼리에 준 이름입니다. (Doug Cutting은 물론 Hadoop의 공동 창작자입니다.) 이름은 독특하고 기억하기 쉽습니다.

하둡은 두 가지 주요 구성 요소로 이루어져 있습니다: 분산 처리 프레임 워크 MapReduce (현재 YARN이라는 구성 요소에서 지원됨) 및 Hadoop 분산 파일 시스템 (HDFS)이라는 분산 파일 시스템이 있습니다.

Hadoop에서 실행되는 응용 프로그램은 클러스터의 노드 (기계)로 분할 된 작업을 가져오고 HDFS는 처리 할 데이터를 저장합니다. Hadoop 클러스터는 HDFS가 데이터를 저장하는 수천 개의 시스템을 확장 할 수 있으며 MapReduce 작업은 데이터 근처에서 처리하므로 I / O 비용이 낮습니다. MapReduce는 매우 유연하며 다양한 응용 프로그램을 개발할 수 있습니다.

계산 클러스터의 한 형태 인

클러스터 유형입니다. 컴퓨팅 클러스터에서 많은 컴퓨터 ( 계산 노드 )는 계산 작업 부하를 공유하고 클러스터 전체에서 매우 큰 총 대역폭을 활용할 수 있습니다. Hadoop 클러스터는 일반적으로 Hadoop의 스토리지 및 처리 시스템을 제어하는 마스터 노드와 모든 클러스터 데이터를 저장하는 많은

슬레이브 노드 로 구성되며, 데이터가 처리됩니다.