비디오: 빅 데이터 3분 요약 2024
예측 분석을 실행하기 전에 데이터를 사용하기 전에 관련없는 데이터가 없는지 확인해야합니다 모델. 여기에는 잘못된 값이 포함 된 레코드를 찾아서 수정하고 누락 된 값을 채우는 것이 포함됩니다. 또한 중복 레코드 (예: 두 고객 계정)를 포함할지 여부를 결정해야합니다.
전체 목표는 예측 모델을 구축하는 데 사용하는 정보의 무결성을 보장하는 것입니다. 데이터의 완전성, 정확성 및 적시성에 특히주의하십시오.
분 및 최대 계산, 빈도 분포 확인 (무언가 발생 빈도 확인 등의 다양한 분야에 대한 설명 통계 (양적 특성))를 만드는 것이 유용합니다.)를 사용하여 예상 범위를 확인합니다. 정기 점검을 실행하면 추가 조사를 위해 예상 범위를 벗어나는 모든 데이터에 플래그를 지정할 수 있습니다. 1990 년대에 출생 날짜가있는 퇴직자를 보여주는 기록은이 방법으로 신고 할 수 있습니다.
데이터 프로파일 링 (데이터 가용성 분석 및 데이터 품질 통계 수집) 및 시각화 도구를 사용할 수 있습니다. 누락 된 데이터는 특정 정보가 기록되지 않았기 때문일 수 있습니다. 그러한 경우, 가능한 한 많이 채울 수 있습니다. 특정 필드의 공란을 채우기 위해 적절한 기본값을 쉽게 추가 할 수 있습니다.
주소에 대한 누락 된 우편 번호는 해당 주소에 제공된 거리 이름과 도시에서 추측 할 수 있습니다.
정보가 알려지지 않았거나 추론 할 수없는 경우 분석의 정확성에 영향을주지 않고 데이터가 누락되었음을 나타 내기 위해
other
값을 빈 공간보다 사용해야합니다. 데이터에서 공란은 여러 가지를 의미 할 수 있으며, 대부분은 좋지 않거나 유용하지 않습니다. 할 수있을 때마다 의미있는 장소 필러를 통해 빈칸의 특성을 지정해야합니다. 옥수수 밭에서 장미를 잡초로 정의 할 수있는 것처럼 외계인은 다른 분석에 대해 다른 것을 의미 할 수 있습니다.일부 모델은 이상 치를 추적하고 플래그를 지정하기 위해 제작되는 것이 일반적입니다. 사기 탐지 모델 및 범죄 활동 모니터링은 그러한 이상 치를 발생시키는 그러한 이상 치에 관심이 있습니다. 이와 같이 데이터 세트에 이상 치를 유지하는 것이 좋습니다. 그러나 특이점이 데이터 내의 예외로 간주 될 때 - 분석을 왜곡하고 잘못된 결과로 이어지는 경우에만 데이터에서 제거하십시오.
데이터 중복은 유용하거나 불편할 수 있습니다. 그 중 일부는 필요하고 가치를 나타낼 수 있으며 데이터의 정확한 상태를 반영 할 수 있습니다. 예를 들어, 여러 계정을 가진 고객의 레코드는 동일한 레코드의 (기술적으로 어쨌든) 중복되고 반복적 인 여러 항목으로 표현 될 수 있습니다. 동일한 토큰으로, 중복 레코드가 분석에 가치를 제공하지 않아서 필요하지 않은 경우이를 제거하는 것은 엄청난 가치가있을 수 있습니다. 중복 레코드를 제거하면 데이터의 복잡성을 단순화하고 분석에 필요한 시간을 단축 할 수있는 대규모 데이터 세트의 경우 특히 그렇습니다.
일부 특정 절차를 채택하여 시스템에 잘못된 데이터가 입력되는 것을 사전에 방지 할 수 있습니다:
수집되는 모든 데이터에 대한 연구소 품질 검사 및 데이터 검증.
고객이 개인 데이터의 유효성을 확인하고 자체 수정하도록 허용합니다.
고객에게 가능한 값과 예상 값을 제공하십시오.
-
데이터의 무결성, 일관성 및 정확성에 대한 검사를 정기적으로 실행합니다.
