Hadoop의 역사에서 대부분 MapReduce의 Hadoop - Dummies

Hadoop의 대부분의 역사에서 MapReduce는 데이터 처리 측면에서 유일한 유일한 게임이었습니다. MapReduce의 유용성은 Hadoop의 성공의 이유였으며 동시에 입양을 제한하는 주요 요인이었습니다. MapReduce는 숙련 된 프로그래머가 기본 분산 컴퓨팅 인프라에 대해 걱정할 필요없이 분산 응용 프로그램을 작성할 수있게합니다. 이는 매우 중요한 문제입니다. Hadoop 및 MapReduce 프레임 워크는 애플리케이션 개발자가 처리 할 필요가없는 모든 종류의 복잡성을 처리합니다.

예를 들어, 노드를 추가하여 클러스터를 투명하게 확장 할 수있는 기능과 데이터 저장 및 데이터 처리 서브 시스템의 자동 장애 조치는 응용 프로그램에 전혀 영향을 미치지 않고 발생합니다.

동전의 다른 측면은 MapReduce가 엄청난 양의 복잡성을 숨기고 있지만 병렬 프로그래밍을위한 인터페이스라는 사실을 잊을 여유가 없다는 것입니다. 이것은 고급 기술이며 더 넓은 입양에 대한 장벽입니다. 아직 MapReduce 프로그래머는 많지 않으며 모든 사람이 그것을 숙달 할 기술이 없습니다.

즉, MapReduce는 이제 Hadoop에서 애플리케이션을 개발하고 실행하는 데 사용할 수있는 많은 애플리케이션 프레임 워크 중 하나 일뿐입니다. Hadoop에서 다른 프레임 워크를 사용하여 애플리케이션을 실행할 수도 있지만 MapReduce를 잊어 버릴 수는 없습니다.

현재 MapReduce는 Hadoop에서 사용할 수있는 유일한 생산 준비 데이터 처리 프레임 워크입니다. 마침내 다른 프레임 워크가 사용 가능해질지라도, MapReduce는 거의 10 년 동안 성숙 단계에 접어 들었습니다 (JIRA는 거의 4,000 개에 달하는 문제가 완료되었으며 추적하는 경우 수백 명의 개발자가 참여했습니다).

MapReduce는 데이터 처리를위한 Hadoop의 가장 성숙한 프레임 워크입니다. 또한 상당량의 MapReduce 코드가 현재 사용되고 있으므로 곧 갈 가능성은 거의 없습니다. 길지 않은 이야기: MapReduce는 하둡 이야기에서 중요한 부분입니다.

Apache Hive 및 Apache Pig 프로젝트는 Hadoop에서 데이터 처리를 시작하기에 더 쉬운 항목이므로 매우 인기가 있습니다. 많은 문제들, 특히 SQL으로 해결할 수있는 종류의, Hive와 Pig는 훌륭한 도구입니다.그러나 통계 처리 나 텍스트 추출과 같은 광범위한 작업, 특히 비정형 데이터 처리의 경우 MapReduce를 사용해야합니다.