함께 빅 데이터를 삽입하십시오 - 인형

모든 데이터를 함께 묶는 방법을 어떻게 알 수 있습니까? 대규모 데이터 프로젝트를 통해 구조화 된 데이터와 구조화되지 않은 데이터로 수행하려는 작업이 다른 기술보다 한 가지 기술을 선택할 수있는 이유를 나타냅니다. 또한이 데이터를 올바른 위치에 배치하기 위해 인바운드 데이터 구조를 이해할 필요성을 결정합니다.

대용량 데이터의 다른 데이터 유형 관리

대용량 데이터의 특성과 각 데이터를 처리하기 위해 사용할 수있는 데이터 관리 시스템 유형을 고려해야합니다.

큰 데이터 환경에 데이터 유형 통합

빅 데이터의 또 다른 중요한 측면은 자주 사용하는 모든 데이터를 소유 할 필요가 없다는 것입니다. 많은 예가이 점을 강조합니다. 소셜 미디어 데이터, 타사 업계 통계 또는 위성에서 가져온 데이터를 활용할 수 있습니다. 소셜 미디어에 대해 생각하면 이해할 수 있습니다.

데이터가 실시간으로 전달 될 필요는 없습니다. 당신은 그것의 많은 것을 가지고 있을지도 모릅니다. 이것은 여전히 ​​큰 데이터 문제가 될 수 있습니다. 물론 고속의 속도로 엄청난 양의 데이터를 볼 수있는 시나리오에 직면 할 수도 있습니다.

필요한 구성 요소에는 커넥터와 메타 데이터가 포함됩니다.

커넥터

다양한 대형 데이터 소스에서 데이터를 가져올 수있는 커넥터가 필요합니다. 아마 당신은 트위터 커넥터 또는 페이스 북을 원할 것입니다. 어쩌면 데이터웨어 하우스에서 귀하의 구내에있는 큰 데이터 소스와 통합하여 이들 두 데이터 소스를 함께 분석 할 수 있어야합니다.

메타 데이터

이 모든 데이터를 통합하는 데 중요한 구성 요소는 메타 데이터입니다.

메타 데이터

는 회사의 데이터 (및 소프트웨어) 구성 요소를 찾고, 액세스하고, 사용하는 방법을 설명하는 데 사용되는 정의, 매핑 및 기타 특성입니다. 메타 데이터의 한 예는 계정 번호에 대한 데이터입니다. 여기에는 번호, 설명, 데이터 유형, 이름, 주소, 전화 번호 및 개인 정보 보호 수준이 포함될 수 있습니다. 메타 데이터는 데이터 저장소를 구성하고 새롭고 변화하는 데이터 소스를 다루는 데 도움이됩니다. 메타 데이터 개념은 새로운 것이 아니지만 큰 데이터의 맥락에서 변화하고 진화하고 있습니다.전통적인 메타 데이터 세계에서는 모든 데이터 소스에 대한 단일보기를 제공하는 카탈로그가 있어야합니다. 그러나이 카탈로그는 사용자가 이러한 모든 데이터 소스를 제어하지 않을 때 달라야합니다. 기본 메타 데이터를 이해하는 데 도움이되는 분석 도구가 필요할 수 있습니다.