빅 데이터 분석 및 데이터웨어 하우스 - 더미

데이터웨어 하우스의 기능과 빅 데이터 환경을 함께 사용하면 가치를 발견하게됩니다. 대용량 데이터가 데이터웨어 하우스와 함께 사용할 수있는 하이브리드 환경을 만들어야합니다.

먼저 설계된 데이터웨어 하우스는 단기간에 변경되지 않는다는 점을 인식하는 것이 중요합니다.

따라서 데이터웨어 하우스는 비즈니스가 분석하고자하는 주제에 대한 진실을 잘 검증 된 버전으로 제공하기 위해 설계된 용도로 사용하는 것이 더 실용적입니다. 창고에는 특정 회사의 제품 라인, 고객, 공급 업체 및 1 년간의 거래 세부 정보가 포함될 수 있습니다.

데이터웨어 하우스 또는 부서별 데이터 마트에서 관리되는 정보는 메타 데이터가 정확하도록 신중하게 작성되었습니다. 새로운 웹 기반 정보가 증가함에 따라 과거 데이터를 바탕으로 대량의 데이터를 분석하는 것이 실용적이고 종종 필요합니다. 이것은 하이브리드 모델이 들어오는 곳입니다.

데이터웨어 하우스와 빅 데이터를 결합하는 특정 측면은 상대적으로 쉽습니다. 예를 들어, 많은 빅 데이터 소스는 잘 디자인 된 메타 데이터가 포함 된 소스에서 제공됩니다. 복잡한 전자 상거래 사이트에는 잘 정의 된 데이터 요소가 포함됩니다. 따라서웨어 하우스와 빅 데이터 소스간에 분석을 수행 할 때 정보 관리 조직은 신중하게 설계된 메타 데이터 모델을 사용하여 합리화되어야하는 두 개의 데이터 세트로 작업합니다.

초기 분석은 Hadoop 분산 파일 시스템 프레임 워크와 함께 MapReduce와 같은 도구를 활용하여 완료 할 수 있습니다. 이 시점에서 해결 된 문제를 평가하는 데 도움이되는지 여부를 이해할 수 있습니다.

대용량 데이터 통합 ​​lynchpin

이 프로세스에는 잘 정의 된 데이터 통합 ​​전략이 필요합니다. 데이터 통합은 큰 데이터를 관리하는 데있어 중요한 요소이지만 데이터웨어 하우스를 사용하여 하이브리드 분석을 만들 때도 마찬가지로 중요합니다. 실제로 하이브리드 환경에서 데이터를 추출하고 변환하는 프로세스는이 프로세스가 일반적인 데이터웨어 하우스 내에서 실행되는 방식과 매우 유사합니다.

데이터웨어 하우스에서 데이터는 CRM 또는 ERP 시스템과 같은 기존 소스 시스템에서 추출됩니다. 이러한 다양한 시스템의 요소가 정확히 일치해야합니다.

데이터웨어 하우스에 대한 추론 추출, 변환 및로드

데이터웨어 하우스에서는 종종 관계형 데이터베이스 테이블, 플랫 파일 및 비 관계형 소스의 조합을 찾습니다. 잘 구성된 데이터웨어 하우스는 데이터가 공통 형식으로 변환되어 쿼리가 정확하고 일관되게 처리 될 수 있도록 설계됩니다. 추출 된 파일은 데이터웨어 하우스가 분석하도록 설계된 주제 영역의 비즈니스 규칙 및 프로세스와 일치하도록 변환되어야합니다.

즉, 큰 데이터 소스에서 데이터를 추출해야만 이러한 소스가 안전하게 작동하고 의미있는 결과를 얻을 수 있습니다. 또한 소스를 변환해야만 과거 데이터와 큰 데이터 소스에서 가져온보다 동적 인 실시간 데이터 간의 관계를 분석하는 데 도움이됩니다.

큰 데이터 모델에 정보를로드하는 것이 기존의 데이터웨어 하우스에서 기대하는 것과 다를 수 있습니다. 데이터웨어 하우스는 데이터가 성문화 된 후에는 변경되지 않습니다. 일반적인 데이터웨어 하우스는 재고 나 판매와 같은 모니터링이 필요한 특정 비즈니스 문제를 분석해야하는 필요성에 따라 데이터 스냅 샷을 비즈니스에 제공합니다.

큰 데이터의 분산 구조는 종종 조직이 일련의 노드에 데이터를로드 한 다음 추출 및 변환을 수행하도록 유도합니다. 전통적인 데이터웨어 하우스와 빅 데이터 환경의 하이브리드를 만들 때 큰 데이터 환경의 분산 된 특성은 비즈니스와 관련하여 대용량의 데이터를 분석 할 수있는 조직의 기능을 획기적으로 바꿀 수 있습니다.