2 단계 : 데이터 이해 -

CRISP-DM (Cross-Industry Standard Process for Data Mining) 프로세스 모델의 두 번째 단계에서 데이터를 얻고 그것은 당신의 필요에 알 맞습니다. 비즈니스 이해로 돌아가고 계획을 수정할 수있는 문제를 파악할 수 있습니다. 목표와 계획을 다시 생각할 또 다른 이유 인 비즈니스 이해의 결함을 발견 할 수도 있습니다.

데이터 이해 단계에는 네 가지 작업 이 포함됩니다. 이들은

• 데이터 수집

• 데이터 설명

• 데이터 탐색

• 데이터 품질 확인

작업: 데이터 수집

방금 목표를 설정하고 데이터 마이닝 계획을 정의했습니다. 계획의 모든 단계는 올바른 데이터를 가지고 있는지에 달려 있습니다. 실제로 그 데이터를 가지고 있는지 확인하십시오!

이 작업에는 단 하나의 산출물, 즉 초기 데이터 수집 보고서 만 존재합니다. 보고서에서 데이터를 얻었거나 최소한 데이터에 액세스했는지, 데이터 액세스 프로세스를 테스트했는지, 데이터가 존재하는지 확인해야합니다. 또한 도구가 데이터와 호환되는지 확인하기 위해 데이터 마이닝에 사용할 도구에 데이터를로드해야합니다.

이 보고서를 작성하기 전에 필요한 데이터를 수집하는 데 많은 작업을 수행 할 수 있습니다. 먼저 다음과 같이 계획을 세웁니다.

• 개요 데이터 요구 사항: 데이터 마이닝 목표를 처리하는 데 필요한 데이터 유형 목록을 만듭니다. 필요한 시간 범위 및 데이터 형식과 같은 세부 정보가 포함 된 목록을 확장하십시오.

• 데이터 가용성 확인: 필요한 데이터가 존재하고이를 사용할 수 있는지 확인하십시오. 원하는 데이터 중 일부를 사용할 수없는 경우 해당 문제를 해결할 방법을 결정하십시오.

• 선택 기준 정의:

• 특정 데이터 소스 (데이터베이스, 파일, 데이터 등)를 식별합니다.

• 대체 데이터 소스로 대체 < 문서 등)을 사용할 수 있습니다. 이러한 출처 내에서이 프로젝트와 관련된 테이블, 필드 및 사례 범위를 지정하십시오.

이 단계를 완료하면 실제로 데이터를 얻어야합니다. 이 단계에서 프로젝트에 사용할 데이터 마이닝 플랫폼으로 데이터를 가져 와서 가능한지 확인하고 프로세스를 이해합니다. 이 평가판을 통해 예상하지 못한 소프트웨어 (또는 하드웨어) 제한 사항 (예: 사례 또는 필드 수 또는 사용 가능한 메모리 양) 을 읽을 수 있습니다.

원본의 데이터 형식

• 데이터의 불완전 성을 다루는 데 어려움이 있습니다 (예: 불완전한 데이터 집합을 가져 오거나 분석하지 않는 제품을 접할 수 있음).

• 마지막으로 보고서에서 수집 프로세스를 요약합니다.이 보고서는 귀하의 요구 사항을 설명하고 수집 한 데이터와 출처를 정확히 설명합니다. 여기서 데이터를 실제로 얻었고 데이터 마이닝 플랫폼과 호환되는지 확인합니다. 어려움에 처한 경우 자신이 무엇인지, 어떻게 대처했는지 (대체 소스 사용, 계획 개정, 형식 변경) 설명합니다.

• 이 작업의 산출물은 단순한 보고서 일 뿐이지 만 보고서를 작성하기 전에해야 할 작업은 간단하지 않습니다! 데이터 액세스는 기술적 인 측면과 비즈니스 측면 모두에서 어려움을 겪고있는 데이터 마이닝 프로세스에서 가장 도전적이고 좌절감이 큰 부분 중 하나입니다.

작업: 데이터 설명

데이터가 생겼으므로 가지고있는 것에 대한 일반적인 설명을 준비하십시오.

이 작업의 산출물은 데이터 기술 보고서입니다. 여기에는 데이터의 출처와 형식, 사례 수, 필드의 개수와 설명 및 중요 할 수있는 기타 일반 정보가 나와 있습니다. 데이터 마이닝 목표에 대한 데이터의 적합성에 대한 간단한 평가도 수행합니다. 예를 들어 데이터에 예상되는 필드와 분석해야 할 필드가 있는지 확인하고 분석을위한 충분한 사례가 있는지 확인하십시오.

작업: 데이터 탐색

이 작업에서는 데이터를보다 자세히 검토합니다. 각 변수에 대해 값의 범위와 분포를 살펴 봅니다. 간단한 데이터 조작과 기본적인 통계 기술을 사용하여 데이터를 추가로 확인합니다. 데이터 탐색은 다음과 같은 여러 가지 목적을 지원합니다.

데이터에 익숙해집니다.

데이터 품질 문제의 징후.

• 데이터 준비 단계의 단계를 설정합니다.

• 이 작업을위한 산출물은 데이터 탐색 보고서입니다. 데이터 탐색 중 개발 한 가설 또는 초기 발견 사항을 문서화하는 곳입니다. 이 보고서에는 배포, 요약 및 데이터 품질 문제의 징후를 포함하여 데이터 설명 보고서보다 데이터에 대한 자세한 설명이 포함되어야합니다.

• 작업: 데이터 품질 확인

데이터가 있으며 검토 한 결과 목표를 뒷받침 할 수 있는지 여부를 결정해야합니다. 자주 해결할 수있는 품질 문제가 있지만 앞으로 나아갈 수는 있지만 데이터 품질이 매우 낮아 계획을 지원할 수 없으며 대안을 찾아야합니다. 최악의 데이터 문제 중 일부가 포함됩니다.

필요한 데이터가 존재하지 않습니다. (존재하지 않았거나 폐기 되었습니까?이 데이터를 수집하고 나중에 사용할 수 있도록 저장할 수 있습니까?)

존재하지만, 가질 수는 없습니다. (이 제한을 극복 할 수 있습니까?)

• 심각한 데이터 품질 문제 (교정 할 수없는 누락되거나 잘못된 값이 많이 있음)를 발견했습니다.

• 이 작업의 결과물은 데이터 품질 보고서입니다. 여기에는 보유한 데이터, 발견 된 사소한 주요 품질 문제 및 품질 문제 또는 대안 (예: 대체 데이터 자원 사용)에 대한 가능한 해결 방법이 요약되어 있습니다.정말로 심각한 데이터 품질 문제에 직면 해 있고 적절한 솔루션을 식별 할 수없는 경우 목표 또는 계획을 재검토해야 할 수도 있습니다.