빅 데이터 스택의 계층 0 : 중복 된 물리적 인프라 - 가장 낮은 수준의

비디오: Essential Scale-Out Computing by James Cuff 2024

빅 데이터 스택의 가장 낮은 수준은 물리적 인프라입니다. 귀사는 이미 데이터 센터를 보유하고 있거나 물리적 인프라에 대한 투자를했기 때문에 기존 자산을 사용할 방법을 찾고자합니다.

빅 데이터 구현은 참조 아키텍처의 모든 요소에 대해 매우 구체적인 요구 사항을 가지고 있으므로 구현 요구 사항이 비즈니스 요구 사항에 따라 수행되고 확장되도록 각 요구 사항을 레이어별로 검토해야합니다.

빅 데이터 원칙의 우선 순위 목록에는 다음에 대한 설명이 포함되어야합니다.

성능: 시스템이 얼마나 반응합니까? 지연이라고도하는 성능은 단일 트랜잭션 또는 쿼리 요청을 기반으로 대개 엔드 투 엔드로 측정됩니다. 가용성:
100 % 가동 시간 보장 서비스가 필요합니까? 서비스가 중단되거나 실패한 경우 비즈니스는 얼마나 오래 기다릴 수 있습니까?

확장 성:
인프라 규모는 어느 정도입니까? 현재와 미래에 얼마나 많은 디스크 공간이 필요합니까? 얼마나 많은 컴퓨팅 성능이 필요합니까? 일반적으로 필요한 것을 결정한 다음 예기치 않은 문제에 대한 척도를 조금 더 추가해야합니다. 유연성:
인프라에 얼마나 빨리 자원을 추가 할 수 있습니까? 인프라가 얼마나 빨리 장애로부터 복구 될 수 있습니까?

비용:
무엇을 감당할 수 있습니까? 인프라 스트럭처는 일련의 구성 요소이기 때문에 "최고의"네트워킹을 구입하고 스토리지 비용을 절약 할 수 있습니다. 전반적인 예산의 맥락에서 이러한 영역 각각에 대한 요구 사항을 설정하고 필요한 경우 절충해야합니다. 큰 데이터는 고속, 대용량 및 높은 데이터의 다양성에 관한 것이기 때문에 실제 인프라는 문자 그대로 구현을 "만들거나 깨뜨릴 것"입니다. 대용량 데이터 구현은 가용성이 높아야하기 때문에 네트워크, 서버 및 물리적 저장소는 복원력과 중복성이 있어야합니다. 탄력성과 중복성은 상호 연관되어 있습니다.

인프라 또는 시스템은 충분한 중복 자원이있을 때 실패하거나 변경 될 때 복원력이 뛰어나므로 조치를 취할 준비가됩니다. 리던던시는 이러한 오작동으로 인해 중단이 발생하지 않도록 보장합니다. 탄력성은 인프라에서 단일 실패 지점을 제거하는 데 도움이됩니다.

비즈니스 연속성 요구 사항이있는 대형 데이터 센터에서 대부분의 중복성이 확보되어 큰 데이터 환경을 구축 할 수 있습니다.새로운 구현에서 디자이너는 비용 및 성능을 기반으로 비즈니스 요구에 배치를 매핑해야 할 책임이 있습니다.

이는 기술 및 운영상의 복잡성이 성능, 가용성, 복구 등에 대한 특정 용어가있는 서비스 모음 뒤에 가려져 있음을 의미합니다. 이러한 조건은 SLA (서비스 수준 계약)에 설명되어 있으며 일반적으로 서비스 제공 업체와 고객간에 협의가 이루어지며 규정을 준수하지 않는 경우 처벌됩니다.

사실상 가상 데이터 센터를 만듭니다. 이 방법을 사용해도 큰 데이터 배포를 작성하고 실행하는 데 필요한 것이 무엇인지 파악해야 사용할 수있는 서비스 오퍼링 중에서 가장 적절한 선택을 할 수 있습니다. SLA가 있음에도 불구하고 조직은 여전히 성과에 대한 궁극적 인 책임이 있습니다.

물리적 중복 대형 데이터 네트워크

네트워크는 중복되어야하며 인바운드 및 아웃 바운드 데이터의 예상 볼륨 및 속도는 물론 비즈니스에서 경험하는 "정상적인"네트워크 트래픽을 수용 할 수있는 충분한 용량이 있어야합니다. 큰 데이터를 컴퓨팅 전략의 핵심 부분으로 만들기 시작할 때 볼륨과 속도가 증가 할 것으로 예상하는 것이 합리적입니다.

인프라 설계자는 이러한 예상 증가를 계획하고 "탄력적 인"물리적 구현을 시도해야합니다. "네트워크 트래픽이 감소하고 흐름에 따라 구현과 관련된 실제 자산 세트도 마찬가지입니다. 인프라 스트럭처는 모니터링 기능을 제공하여 작업 부하의 변화를 해결하기 위해 더 많은 리소스가 필요할 때 운영자가 대응할 수 있도록해야합니다.

대용량 데이터 하드웨어 관리: 스토리지 및 서버