비디오: GCP-How to Install Cloudera Manager on Google Cloud Cluster 2024
NoSQL 데이터베이스의 대규모 클러스터는 다루기 힘들다. 구출 아파치 사육사! 클러스터에 어떤 노드가 있는지 추적하고 마스터가 실패 할 때 새로운 마스터를 선택하도록 보장하는 것은 쉬운 작업이 아닙니다.
대규모 분산 시스템을 조정하는 것은 매우 어렵습니다. Hadoop과 분산 NoSQL 데이터베이스 모두 전체 클러스터의 구성을 관리하는 방법이 필요합니다. 또한이 프로세스는 가용성이 높아야 전체 시스템에서 단일 지점 오류가 발생하지 않습니다.
Apache Zookeeper가있는 곳입니다. Zookeeper는 트랜잭션 방식으로 일관된 분산 조정 서비스를 제공합니다.
클러스터 관리를 위해 Zookeeper를 사용하는 몇 가지 다른 제품:
-
Apache Hadoop
-
Solr Cloud
-
Neo4j
-
Accumulo
-
HBase
-
Rackspace
-
Zynga
-
(여러 서비스에 대해)
사육사는 컴퓨터 파일 시스템과 유사한 인 메모리 계층 구조 스토리지 구조를 제공합니다. 이 구조는 현재 사육사 마스터에 의해 관리되고 클러스터의 다른 노드간에 복제됩니다. 사육사 클러스터는 사육사 e nsemble이라고합니다.
마스터 만 저장소에 대한 업데이트 (쓰기)를 관리합니다. 이러한 변경 사항은 디스크에 검사 점을 적용하여 내구성을 유지 한 다음 앙상블의 다른 사육사 인스턴스에 복제합니다.
이 서비스는 클러스터 구성 데이터를 사육사에 저장합니다. 그들 중 일부는 데이터베이스의 파편에 대한 키 범위를 저장합니다. 이를 통해 Zookeeper를 사용하는 NoSQL 데이터베이스를 이용하는 고객은 앙상블의 Zookeeper 서버와 통신 할 수 있습니다. 이 방법으로 클라이언트는 관심있는 데이터를 보유하고있는 NoSQL 서버를 찾을 수 있습니다.
어떤 노드가 어떤 범위의 키를 저장하는지 조회하면 NoSQL 서버의로드가 최소화됩니다. 하나의 NoSQL 노드가 실제로 데이터를 보유하고있는 노드에 연결됩니다.
Zookeeper의 데이터 저장소를 일시적인 저장소 (서비스를 다시 시작할 수없는 저장소)로 사용할 수도 있습니다. 이는 세션 또는 다른 런타임 데이터를 저장하는 데 유용합니다.
사육사 서버는이 일시적인 저장소를 사용하여 마스터가 실패 할 경우 누가 인수 할 것인지 결정합니다. 각 서버는 키 공간에 번호가 붙은 임시 z 노드 (저장 파일)를 작성합니다. 사육사 마스터 (리더)가 하드웨어 장애를 겪은 경우 시퀀스의 다음 z 노드 소유자가 마스터가됩니다. 이것은 우아한 솔루션이며 모든 서버가 새 마스터를 선택하는 데 몇 초 동안 서로 미친 듯이 대화하는 "무리"효과를 피합니다.<사육자 (Zookeeper)>는 조율 된 시스템 관리 및 고 가용성에 내재 된 문제에 대한 훌륭한 자바 솔루션입니다. 메시징 서비스를 비롯하여 가용성이 높은 서비스를 구현하는 데 사용할 수 있습니다. 따라서 새로운 분산 서비스를 작성해야하는 경우 사육사 사용을 고려하십시오.