빅 데이터 스택의 계층 3 : 데이터 서비스 및 도구 구성 - 더미

대용량 데이터 스택의 계층 3 인 데이터 서비스 및 도구 구성, 다양한 빅 데이터 요소의 캡처, 유효성 검사 및 조합이 문맥 적으로 관련이 있다고 말하면됩니다. 컬렉션. 큰 데이터는 방대하기 때문에 데이터를 효율적이고 원활하게 처리하기위한 기술이 발전했습니다. MapReduce는 많이 사용되는 기술 중 하나입니다. 많은 조직 데이터 서비스가 큰 데이터 스트림의 구성을 최적화하도록 특별히 설계된 MapReduce 엔진이라고 여기기를 바란다.

조직화 된 데이터 서비스는 실제로 처리를 준비하기 위해 데이터를 모으고 어셈블하는 데 사용할 수있는 도구와 기술의 생태계입니다. 따라서 도구는 통합, 변환, 정규화 및 확장을 제공해야합니다. 이 계층의 기술에는 다음이 포함됩니다.

분산 파일 시스템:

• 데이터 스트림의 분해를 수용하고 규모 및 저장 용량을 제공하는 데 필요합니다. 분산 응용 프로그램 구축에 필요 (잠금 등)

• 직렬화 서비스: 영구 데이터 저장 및 다국어 원격 프로 시저 호출 (RPC)에 필요

• > 추출, 변환 및로드 (ETL) 도구: 구조화 및 비정형 데이터를 Hadoop으로로드 및 변환하는 데 필요합니다.

• 워크 플로 서비스: 작업을 예약하고 프로세스 요소를 동기화하기위한 구조를 제공해야합니다. 레이어

• ->