비디오: 빅데이터 034 고가용성 측면에서의 HDFS 2024
Hadoop의 초기 단계에서 종종 NameNode의 단일 실패 지점 표현에 중점을 두었습니다. 전반적으로 Hadoop은이 핵심 영역을 제외하고는 항상 견고하고 장애 대비 아키텍처를 갖추고 있습니다. NameNode가 없으면 Hadoop 클러스터가 없습니다.
Hadoop 2를 사용하면 Active NameNode 및 Standby NameNode가 있도록 HDFS를 구성 할 수 있습니다. 대기 NameNode는 활성 NameNode에서 사용하는 마스터 노드와 동일하게 구성된 전용 마스터 노드에 있어야합니다.
NameNode가 모든 블록 주소 요청을 처리하는 동안 Standby NameNode가 아무렇게나 앉지 않습니다. 메모리에서 블록 위치 및 블록 메타 데이터의 상태를 유지하는 작업으로 인해 대기되는 NameNode 대기열은 HDFS 검사 점 작업을 처리합니다.
Active NameNode는 마스터 노드에서 실행되는 대부분의 JournalNode 서비스에 대한 파일 변경 사항에 대한 업무 일지 항목을 씁니다. ( 참고: HDFS 고 가용성 솔루션에는 적어도 세 개의 마스터 노드가 필요하며 더 많은 경우 홀수 만있을 수 있습니다.)
사육사는 Active NameNode를 모니터링하고 Active NameNode를 사용할 수 없게되면 장애 조치 (failover) 물류를 처리하는 데 사용됩니다. Active 및 Standby NameNode에는 모니터링 및 장애 조치 작업을 수행하는 전용 Zookeeper Failover Controllers (ZFC)가 있습니다. 장애가 발생하면 ZFC는 클러스터의 사육사 인스턴스에 알리고 새로운 활성 NameNode를 선출합니다.
