비디오: How to Setup Multinode Hadoop 2 on CentOS/RHEL Using VirtualBox 2024
사망 및 세금과 마찬가지로 디스크 장애 (충분한 시간이 주어 지거나 노드 또는 랙 장애가 있음)는 Hadoop 분산 파일 시스템 (HDFS)에서는 필연적입니다. 표시된 예에서 하나의 랙이 고장 나더라도 클러스터는 계속 작동 할 수 있습니다. 처리 리소스의 절반을 잃어 버렸기 때문에 성능이 저하되지만 시스템은 여전히 온라인 상태이며 모든 데이터를 사용할 수 있습니다.
디스크 드라이브 또는 슬레이브 노드가 실패하는 시나리오에서 HDFS 용 중앙 메타 데이터 서버 (NameNode라고 함)는 결국 실패한 리소스에 저장된 파일 블록을 더 이상 사용할 수 없음을 알게됩니다. 예를 들어, 슬레이브 노드 3이 실패하면 블록 A, C 및 D가 중복되지 않음을 의미합니다.
즉, HDFS에서 이러한 블록의 복사본을 너무 적게 사용할 수 있습니다. HDFS가 블록이 복제되지 않는다고 감지하면 새로운 복사본을 주문합니다.
예제를 계속 진행하려면 몇 시간 후에 슬레이브 노드 3이 다시 온라인 상태로 전환한다고 가정하십시오. 한편, HDFS는 모든 파일 블록의 사본이 3 개 있다는 것을 보장합니다. 이제 블록 A, C 및 D에는 각각 4 개의 사본이 있으며 중복되어 표시됩니다 . 중복되지 않은 블록과 마찬가지로 HDFS 중앙 메타 데이터 서버도 이와 관련하여 알아보고 삭제할 모든 파일의 복사본 하나를 주문합니다.
데이터 가용성의 좋은 결과 중 하나는 디스크 오류가 발생하면 즉시 실패한 하드 드라이브를 교체 할 필요가 없다는 것입니다. 이는 정기적으로 예정된 간격으로보다 효과적으로 수행 될 수 있습니다.
