Apache Bigtop을 사용하여 Hadoop 환경 설정 - VM 및 Linux 사용에 익숙한 경우 인력

VM 및 Linux 사용에 익숙하다면 권장되는 것과 다른 VM에 Bigtop을 설치하십시오. 정말로 대담하고 하드웨어를 가지고 있다면, 완전 분산 모드의 시스템 클러스터에 Bigtop을 설치하십시오!

1 단계: VM 다운로드

Hadoop은 널리 사용되는 모든 Linux 배포판에서 실행되므로 Linux VM이 필요합니다. 자유롭게 사용할 수있는 (그리고 합법적 인) CentOS 6 이미지가 있습니다.

이 VM을 실행하려면 랩탑에 64 비트 운영 체제가 있어야합니다. Hadoop은 64 비트 환경이 필요합니다.

VM을 다운로드 한 후 다운로드 한 Zip 파일에서 대상 디렉토리로 VM을 추출합니다. Hadoop으로 약 50GB의 여유 공간이 있어야하며 샘플 데이터에이 공간이 필요합니다.

VM 플레이어가없는 경우 무료로 다운로드 할 수 있습니다.

VM 플레이어를 설정 한 후 플레이어를 열고 파일 → 열기로 이동 한 다음 Linux VM 압축을 푼 디렉토리로 이동하십시오. 호출 된 파일을 찾아서 선택하십시오. 얼마나 많은 프로세서와 얼마나 많은 메모리를 사용할 지에 대한 정보를 볼 수 있습니다. 컴퓨터의 메모리 용량을 확인하고, VM의 절반을 할당하여 사용하십시오. Hadoop은 많은 메모리가 필요합니다.

준비가 되었으면 Play 버튼을 클릭하면 Linux 인스턴스가 시작됩니다. 리눅스가 부팅 될 때 많은 메시지가 날아가고 로그인 화면이 나타납니다. 사용자 이름은 이미 "Tom"으로 설정되어 있습니다. "tomtom"으로 암호를 지정하고 로그인하십시오.

2 단계: Bigtop 다운로드

Linux VM 내에서 화면을 마우스 오른쪽 버튼으로 클릭하고 나타나는 상황 별 메뉴에서 터미널에서 열기를 선택하십시오. 그러면 명령을 실행할 수있는 Linux 터미널이 열립니다. 커서가 깜박이는 것을 볼 수 있도록 터미널 내부를 클릭하고 다음 명령을 입력하십시오. su -

비밀번호를 묻는 메시지가 표시되므로 이전처럼 "tomtom"을 입력하십시오. 이 명령은 사용자를 Linux 컴퓨터의 마스터 계정 인 root로 전환합니다. Hadoop을 설치하려면이 계정이 필요합니다.

루트 액세스 권한으로 (전원이 들리지 않도록) 다음 명령을 실행하십시오:

wget -O / etc / yum. repos. d / bigtop. repo 

http: // www. 아파치. org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

이 명령은 본질적으로 웹 요청으로, URL에서 특정 파일을 요청하고이를 특정 경로 (예: /)에 기록합니다.

3 단계: Bigtop 설치하기

리눅스 뒤에있는 천재들은 Hadoop과 같은 거대한 소프트웨어 패키지를 설치해야하는 사람들에게 매우 쉬운 삶을 살 렸습니다.마지막 단계에서 다운로드 한 내용은 전체 Bigtop 패키지 및 모든 종속 항목이 아닙니다. 저장소 파일 (확장자 포함)은 Bigtop 설치에 필요한 소프트웨어 패키지를 설치 프로그램에 알려줍니다.

대형 소프트웨어 제품과 마찬가지로 Hadoop에는 많은 전제 조건이 있지만 걱정할 필요가 없습니다. 잘 설계된 파일은 모든 종속성을 가리키며 설치 프로그램은 컴퓨터에 누락되어 있는지 확인하고 다운로드하여 설치하기에 충분히 똑똑합니다.

여기서 사용하고있는 설치 프로그램은 yum이라고하며, 지금 당장 실행 해 봅니다:

yum install hadoop * mahout * oozie * hbase * hive * hue * pig * zookeeper *

설치할 Hadoop 구성 요소를 선택하고 선택합니다. Bigtop에는 다른 여러 구성 요소가 있지만 여기에서 사용할 수있는 구성 요소는 Bigtop뿐입니다. VM은 새로운 Linux 설치이므로 많은 종속성이 필요하므로 조금만 기다려야합니다.

냠 설치 프로그램은 아주 장황합니다. 따라서 시간이 지날 때 다운로드 및 설치되는 것을 정확히 볼 수 있습니다. 설치 프로세스가 완료되면 "완료!"라는 메시지가 나타납니다. "

4 단계: Hadoop 시작

Hadoop에서 응용 프로그램을 실행하기 전에 수행해야 할 몇 가지 기본 구성 및 설정 작업이 있습니다. 다음은 순서대로입니다.

1. Java 다운로드 및 설치:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. NameNode 형식:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. 가상 배포 된 클러스터에 대한 Hadoop 서비스를 시작합니다. hadoop-hdfs-namenode hadoop-hdfs-datanode에서 i에 대해

   ; sudo 서비스 $ i 시작; done
   

4. HDFS에 하위 디렉토리 구조를 만듭니다.

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. YARN 데몬을 시작하십시오.

sudo service hadoop-yarn-resourcemanager startsudo service hadoop-yarn-nodemanager start

그리고 그걸로 끝났습니다. 치하! 작동중인 Hadoop 배포를 설치했습니다!

5 단계: 샘플 데이터 세트 다운로드

샘플 데이터 세트를 다운로드하려면 VM 브라우저에서 Firefox 브라우저를 열고 dataexpo 페이지로 이동하십시오.

전체 데이터 세트가 필요하지 않으므로 1987 년부터 시작하십시오. 다운로드 할 시점에서 Archive Manager로 열기 옵션을 선택하십시오.

파일을 다운로드 한 후, 파일을 쉽게 찾을 수있는 홈 디렉토리에 압축을 푸십시오. 추출 단추를 클릭 한 다음 데스크탑 디렉토리를 선택하십시오.

6 단계: 샘플 데이터 세트를 HDFS로 복사

Hadoop 프로그램은 HDFS에 저장된 데이터로만 작업 할 수 있습니다. 이제 1987 년 비행 데이터 파일을 HDFS로 복사하십시오. 다음 명령을 입력하십시오.

hdfs dfs -copyFromLocal 1987. csv / user / root