빅 데이터의 유효성, 진실성 및 휘발성을 보장하는 방법 - 더미

높은 볼륨, 높은 다양성 및 고속이 필수 특성입니다. 빅 데이터. 그러나 큰 데이터의 다른 특성은 똑같이 중요합니다. 특히 큰 데이터를 운영 프로세스에 적용 할 때 더욱 그렇습니다.

• 유효 기간: 의도 한 용도에 맞게 데이터가 정확하고 정확한가?

• 진실성: 주어진 문제 공간에 대한 결과는 의미가 있습니까?

• 휘발성: 이 데이터를 저장해야하는 기간은 얼마입니까?

큰 데이터 유효성

정확한 결과를 원합니다. 그러나 페타 바이트 단위의 데이터를 분석하는 초기 단계에서는 각 데이터 요소의 유효성에 대해 걱정하지 않을 것입니다. 큰 데이터의 초기 스트림은 실제로 더러워 질 수 있습니다. 초기 단계에서이 모든 방대한 데이터 소스 내의 요소간에 관계가 있는지 여부를 확인하는 것이 모든 요소가 유효한지 확인하는 것보다 중요합니다.

올바른 입력 데이터와 올바른 데이터 처리로 정확한 결과를 얻을 수 있습니다. 대용량 데이터의 경우 유효성에 대해 특별히 경계해야합니다. 예를 들어, 건강 관리에서 환자의 질병 증상과 관련 될 수있는 임상 시험 자료가있을 수 있습니다. 그러나 그 사람을 치료하는 의사는 단순히 임상 시험 결과를 유효성을 검증하지 않고 취할 수는 없습니다.

날씨 위성이 폭풍이 세계의 한 부분에서 시작되고 있음을 나타냅니다. 폭풍우가 개인에게 어떤 영향을 미칩니 까? 약 5 억 명의 사용자가 트위터 스트림을 분석하여 지역 주민에 대한 폭풍의 영향을 파악할 수 있습니다. 따라서 Twitter를 날씨 위성의 데이터와 함께 사용하면 연구원이 기상 예측의 정확성을 이해하는 데 도움이 될 수 있습니다.

큰 데이터 변동성

유효한 데이터가 있고 결과의 정확성을 입증 할 수있는 경우 데이터가 사용자의 요구를 충족시키기 위해 얼마나 오래 "살아야"할 필요가 있습니까? 표준 데이터 설정에서는 시간이 지남에 따라 수행 한 작업에 중요한 데이터가 무엇인지 파악할 수 있으므로 데이터를 수십 년 동안 유지할 수 있습니다.작업 프로세스에 매핑되는 데이터 통화 및 가용성에 대한 규칙을 설정했습니다.

예를 들어, 일부 조직은 비즈니스 시스템에서 가장 최근의 1 년 동안의 고객 데이터 및 트랜잭션 만 보관할 수 있습니다. 이렇게하면 필요할 때이 정보를 신속하게 검색 할 수 있습니다. 전년도를 볼 필요가있는 경우 IT 팀은 요청을 존중하기 위해 오프라인 저장소에서 데이터를 복원해야 할 수 있습니다. 큰 데이터를 사용하면이 문제가 확대됩니다.

저장 용량이 제한되어있는 경우 큰 데이터 소스를보고 수집해야하는 항목과 보존 기간을 결정해야합니다. 큰 데이터 소스를 사용하면 빠른 분석을 위해 데이터를 수집해야 할 수 있습니다.

추가 처리를 위해 정보를 로컬에 저장할 수 있습니다. 이 모든 데이터를 저장하기에 충분한 공간이 없다면 "즉시"데이터를 처리하고 관련 정보를 로컬에 보관할 수 있습니다. 큰 데이터를 사용할 수있는 기간은 몇 가지 요인에 따라 달라집니다.

원본에 얼마나 많은 양의 데이터가 보관됩니까?

• 데이터를 반복해서 처리해야합니까?

• 데이터를 처리하고 추가 데이터를 수집하며 처리해야합니까?

• 데이터 저장을 요구하는 규칙이나 규정이 있습니까?

• 고객이 업무에 대한 귀하의 데이터에 의존합니까?

• 데이터에 가치가 있거나 더 이상 관련이 없습니까?

• 큰 데이터의 양, 다양성 및 속도로 인해 변동성을 이해해야합니다. 일부 출처의 경우 데이터가 항상 존재합니다. 다른 사람들에게는 그렇지 않습니다. 밖에있는 데이터를 이해하고 얼마나 오랫동안 큰 데이터에 대한 보존 요구 사항 및 정책을 정의 할 수 있는지 이해할 수 있습니다.

소비자로서 큰 데이터는 상품 및 서비스를 언제, 어떻게 구입할 것인지에 대한 더 나은 프로파일을 정의하는 데 도움이됩니다. 환자로서 큰 데이터는 치료와 건강 유지에 대한보다 맞춤화 된 접근법을 정의하는데 도움이 될 것입니다. 전문가로서 큰 데이터는 제품과 서비스를 설계하고 전달하는 더 나은 방법을 식별하는 데 도움이됩니다.

큰 데이터가 기업 및 조직의 운영 프로세스에 통합되는 경우에만 발생합니다.