Hadoop 용 대체 배치 폼 팩터 -

Hadoop은 프로세싱이 전용 스토리지 및 네트워킹에 직접 액세스 할 수있는 물리적 컴퓨터에 설치 될 때 가장 잘 작동하지만 Hadoop은 대체 배포. 전용 하드웨어보다 효율적이지는 않지만 대안이 가치있는 옵션입니다.

가상화 서버

지난 10 년 동안 IT 센터의 주요 추세는 대규모 서버가 단일 시스템처럼 보이고 작동하는 여러 "가상 시스템"을 호스팅 할 수있는 가상화입니다. 전용 하드웨어 대신 조직의 전체 응용 프로그램 및 리포지토리 집합이 가상화 된 하드웨어에 배포됩니다.

IT 배포가 완전히 가상화되는 조직에서는 때로는 모든 새로운 애플리케이션이이 모델을 따르도록 요구합니다. Hadoop은 본질적으로 가상 클러스터 (가상 마스터 노드와 가상 슬레이브 노드 포함)로 배포 할 수 있지만 대부분 가상화 환경의 경우 스토리지가 SAN 기반이며 로컬로 연결되지 않기 때문에 성능이 저하됩니다.

가상 서버의 성능이 다른 서버의 작업 부하에 영향을 받으면 실제로 IT 서클에서 "시끄러운 이웃"문제로 알려져 있습니다!

가상화 된 환경은 경우에 따라 매우 유용 할 수 있습니다. 예를 들어 조직에서 대용량 데이터 세트에 대한 일회성 분석을 완료해야하는 경우 가상화 된 환경에 임시 클러스터를 쉽게 만들 수 있습니다. 이 방법은 종종 새로운 전용 하드웨어를 구매하는 관료적 인 번거 로움을 견디는 것보다 내부 승인을 얻는 더 빠른 방법입니다.

Hadoop을 실험하면서 랩톱 컴퓨터에서 가상 머신 (VM)을 통해 실행합니다. Hadoop은 이러한 환경에서 매우 느리지 만 작은 데이터 세트를 사용하는 경우 가치있는 학습 및 테스트 도구입니다.

클라우드 구축

가상화 환경의 변형은 Amazon, Rackspace 및 IBM SoftLayer와 같은 클라우드 컴퓨팅 제공 업체입니다. 주요 공공 클라우드 제공 업체는 이제 MapReduce 또는 Hadoop 오퍼링을 사용할 수 있습니다. 다시 말하지만, 성능은 전용 하드웨어에 클러스터를 배치하는 것보다 열등하지만 성능은 향상됩니다.

클라우드 제공 업체는 슬레이브 노드가 로컬로 연결된 스토리지 및 전용 네트워킹을 사용하는 Hadoop 최적화 환경을 사용할 수 있도록하고 있습니다. 또한 하이퍼 바이저는 오버 헤드 및 대기 시간을 줄여 훨씬 효율적으로 사용되고 있습니다.

클라우드 컴퓨팅 리소스를 임대하는 비용이 유사한 시스템을 소유하고 유지 관리하는 비용보다 상당히 높기 때문에 장기적인 용도로 클라우드 솔루션을 고려하지 마십시오. 클라우드 제공 업체는 편의를 위해 비용을 지불하고 하드웨어 프로비저닝의 오버 헤드를 줄일 수 있습니다. 그러나 클라우드는 테스트, 교육 및 일회성 데이터 처리 작업을위한 이상적인 플랫폼입니다. 성능 및 비용 고려 사항 외에도 퍼블릭 클라우드 배치에 대한 규제 사항을 고려해야합니다. 사내 또는 국내에 저장해야하는 기밀 데이터가있는 경우 공용 클라우드 배포는 옵션이 아닙니다. 이와 같은 경우 클라우드 기반 배포의 편리 성이 필요한 곳에 사설 클라우드를 사용할 수있는 경우 좋은 방법입니다.