이전에 응용 프로그램을 실행하는 > 응용 프로그램을 실행중인 Hadoop 2 - 더미

많은 기존 Hadoop 배치가 아직 Y3N (Yet Another Resource Negotiator)을 사용하고 있지 않기 때문에 Hadoop이 데이터 처리를 관리하는 방법을 빠르게 살펴보십시오 Hadoop 2. JobTracker 마스터 데몬과 TaskTracker 슬레이브 데몬이 MapReduce 처리를 처리하는 역할에 집중하십시오. 분산 시스템을 사용하는 요점은 내결함성, 용이성 및 저렴한 방식으로 독립형 컴퓨터 네트워크에 컴퓨팅 리소스를 배포 할 수 있다는 것입니다.

Hadoop과 같은 분산 시스템에서 자체 계산 노드 클러스터가 모두 병렬로 작동하는 경우 모든 조각이 함께 작동하도록하는 데 많은 어려움이 있습니다. 따라서 이러한 시스템은 일반적으로 병렬 데이터 처리를 지원하기 위해 서로 다른 작업을 처리하는 별개의 레이어를 가지고 있습니다.

관심사 분리로 알려진이 개념 은 예를 들어 애플리케이션 프로그래머 인 경우 다음과 같은 특정 세부 사항에 대해 걱정할 필요가 없음을 보장합니다. 지도 작업. Hadoop에서 시스템은 다음과 같이 네 가지 별개의 레이어로 구성됩니다. Hadoop 분산 파일 시스템 (HDFS)은 데이터, 중간 결과 및 최종 결과 세트가 저장되는 스토리지 계층입니다.

• 자원 관리: Hadoop 클러스터의 모든 슬레이브 노드는 디스크 공간 외에도 CPU 사이클, RAM 및 네트워크 대역폭을 가지고 있습니다. Hadoop과 같은 시스템은 이러한 리소스를 분류하여 여러 애플리케이션과 사용자가 클러스터를 예측 가능하고 조정 가능한 방식으로 공유 할 수 있어야합니다. 이 작업은 JobTracker 데몬에서 수행합니다.

• MapReduce 프로세스 흐름은 Hadoop 1에있는 모든 애플리케이션의 실행을 정의합니다. 이것은 맵 단계부터 시작합니다. 셔플, 정렬 또는 병합으로 계속 집계됩니다. 감소 단계로 끝납니다. Hadoop 1에서는 JobTracker 데몬에서 관리하며 로컬 실행은 슬레이브 노드에서 실행중인 TaskTracker 데몬에서 관리합니다.

  응용 프로그래밍 인터페이스 (API):

• Hadoop 1 용으로 개발 된 응용 프로그램은 MapReduce API를 사용하여 코딩해야했습니다. Hadoop 1에서 Hive 및 Pig 프로젝트는 프로그래머에게 Hadoop 응용 프로그램을 작성하기위한보다 쉬운 인터페이스를 제공하며, 그 아래에서 코드가 MapReduce로 컴파일됩니다. 하둡 (Hadoop) 1의 세계에서 여러분은 매우 최근까지만이 있었지만, 모든 데이터 처리는 MapReduce를 중심으로 이루어졌습니다.