프로그래밍

MasterServer 대신 RegionServers를 설명하여 HBase (Hadoop Database) 아키텍처에 대한 토론을 시작하면 놀라게 될 것입니다. RegionServer 라는 용어는 MasterServer에 종속되어 있다는 것을 의미하는 것으로 보이므로 마스터 서버를 먼저 논의해야합니다. 그러나 오래된 노래가가는 것처럼, "반드시 그런 것은 아닙니다. "

RegionServers는 특정 기능에 대해 MasterServer에 종속되지만 데이터 저장 및 검색을위한 마스터 - 슬레이브 관계의 의미는 아닙니다. 그림의 왼쪽 위 모서리에서 클라이언트가 MasterServer를 가리 키지 않고 Zookeeper 클러스터 및 RegionServers를 가리키고 있음을 확인하십시오.

MasterServer가 데이터 저장 및 액세스 경로에 있지 않습니다. 이것이 사육사 클러스터 및 RegionServers의 작업입니다. RegionServer와 같은 소프트웨어 프로세스 (또는 데몬) 인 MasterServer의 주요 기능을 살펴보십시오. MasterServer는

• HBase 클러스터의 RegionServers를 모니터링합니다. MasterServer는 HBase 클러스터의 활성 RegionServers 목록을 유지 관리합니다.

• 테이블이 생성되거나 속성이 변경되면 (압축 설정, 캐시 설정, 버전 관리 등) MasterServer가 작업을 처리하고 필요한 메타 데이터를 저장합니다. 지역 할당:

• MasterServer는 영역을 RegionServers에 할당합니다. 지역 서버 장애 조치 관리:

• 분산 클러스터와 마찬가지로 노드 장애가 발생하지 않고 어쨌든 계획하고 있기를 바랍니다. 영역 서버가 실패하면 Zookeeper가 마스터 서버에 알리고 장애 조치 및 복원 작업을 시작할 수 있습니다.

  사용 가능한 모든 RegionServers에서 영역의로드 균형 조정을 감독합니다.

• 사용 가능한 모든 RegionServers에 걸쳐 균일하게 분포 된 영역으로 구성된 테이블을 기억할 수 있습니다. 이것은 마스터 서버가 주기적으로 활성화하는 밸런서 스레드 (또는 chore , 원하는 경우)의 작업입니다. 카탈로그 테이블 관리 (및 정리):

• HBase 시스템은 두 개의 주요 카탈로그 테이블을 사용하여 클라이언트가 시스템의 특정 키 값 쌍을 찾을 수 있도록합니다. MasterServer는 전체 HBase 시스템을 대신하여 이러한 중요한 테이블을 관리합니다.

  WAL 삭제:

• MasterServer는 RegionServer 장애 조치 중 WAL과 상호 작용하고 주기적으로 로그를 정리합니다. 마스터 작업 관찰을위한 보조 프로세서 프레임 워크 제공:

• 성장하는 HBase 용어집의 또 다른 새로운 용어입니다. Coprocessors 는 MasterServer 또는 RegionServers의 컨텍스트에서 실행됩니다. 예를 들어, MasterServer 옵저버 보조 프로세서를 사용하면 테이블 생성이나 테이블 삭제와 같은 작업이 발생할 때 서버의 일반적인 기능을 변경하거나 확장 할 수 있습니다. 종종 코 프로세서는 고급 HBase 응용 프로그램의 테이블 인덱스를 관리하는 데 사용됩니다. MasterServer 및 / 또는 RegionServer (또는 둘 다)의 컨텍스트에서 실행되는 보조 프로세서를 사용하여 보안을 향상시키고 보조 인덱스를 만드는 등의 작업을 수행 할 수 있습니다. 코 프로세서에 대한 자세한 내용은 HBase 커뮤니티 블로그를 참조하십시오.

모든 오픈 소스 Hadoop 기술과 마찬가지로 MasterServer 작업은 HBase를 향상시키기 위해 고안된 기술 혁신에 힘 입어 시간이 지남에 따라 변경 될 가능성이 큽니다. 그러나이 글을 쓰는 시점에서 MasterServer의 고급 레퍼런스로 사용되는 상당히 철저한 목록을 갖게되었습니다.

마지막으로, HBase MasterServer에 관해 더 중요한 사항: 모든 HBase 클러스터에 백업 마스터 서버가 있어야하며 백업 마스터 서버가 있어야합니다. 한 번에 하나의 활성 마스터 서버 만 있어야하므로 백업 마스터 서버는 장애 조치 용입니다.

MasterServer가 HBase 클라이언트의 데이터 액세스 경로에 있지 않음을 상기 할 수 있습니다. 그러나 MasterServer가 RegionServer 장애 조치 및로드 균형 조정과 같은 작업을 담당한다는 점을 상기 할 수도 있습니다. 좋은 소식은 마스터가 다운 된 경우에도 클라이언트가 HBase 클러스터를 계속 쿼리 할 수 ​​있지만 정상적인 클러스터 작동의 경우 마스터는 어느 정도의 시간 동안 다운되지 않아야한다는 것입니다.