비디오: Hadoop Processing Frameworks 2024
"단순함"은 종종 그 건축 도면에 대해 "우아함"을 의미합니다. Hadoop을 구현 한 후에 돈이 들어가기 시작했을 때 계획했던 새로운 실리콘 밸리 맨션. 동일한 원칙이 소프트웨어 아키텍처에도 적용됩니다. 돼지는 두 가지 요소로 구성됩니다.
-
언어 자체: 프로그래머가 유머 감각을 가지고 있다는 증거로서, 돼지의 프로그래밍 언어는 돼지 라틴어로 알려져 있으며, 높은 수준 데이터 처리 및 분석 프로그램을 작성할 수있는 언어
-
돼지 라틴어 컴파일러: 돼지 라틴 컴파일러는 돼지 라틴 코드를 실행 코드로 변환합니다. 실행 가능 코드는 MapReduce 작업의 형태로 존재하거나 단일 노드에서 돼지 코드를 실행하기 위해 가상 Hadoop 인스턴스가 생성되는 프로세스를 생성 할 수 있습니다. MapReduce 프로그램의 시퀀스는 Pig 프로그램이 Hadoop MapReduce 및 HDFS를 활용하여 병렬로 데이터 처리 및 분석을 수행 할 수있게합니다. 가상 Hadoop 인스턴스에서 Pig 작업을 실행하는 것은 Pig 스크립트를 테스트하는 데 유용한 전략입니다.
돼지 프로그램은 MapReduce v1 또는 MapReduce v2에서 클러스터가 실행중인 모드에 관계없이 코드를 변경하지 않고도 실행할 수 있습니다. 그러나 돼지 스크립트는 대신 Tez API를 사용하여 실행할 수도 있습니다. Apache Tez은 MapReduce보다 효율적인 실행 프레임 워크를 제공합니다. YARN은 MapReduce (Tez과 같은) 이외의 애플리케이션 프레임 워크가 Hadoop에서 실행될 수있게합니다. 하이브는 또한 Tez 프레임 워크에 대해 실행할 수 있습니다.
