CRISP-DM 프로세스 3 단계 : 데이터 준비 - 더미

데이터 광부는 대부분의 시간을 CRISP-DM (Cross-Industry Standard Process for Data Mining) 프로세스 모델: 데이터 준비의 세 번째 단계에서 보냅니다. 데이터 마이닝에 사용 된 대부분의 데이터는 원래 다른 목적으로 수집 및 보존되었으므로 모델링에 사용할 준비가되기 전에 약간의 미세 조정이 필요합니다.

데이터 준비 단계에는 5 개의 작업 이 포함됩니다.

• 데이터 선택

• 데이터 작성

• 데이터 통합 ​​

• 데이터 서식 지정

• CRISP-DM 단계별 가이드는 명시 적으로 데이터 집합을 각각의 데이터 준비 작업을 수행했지만 이러한 데이터 세트는 더 잘 존재하고 올바르게 보관 및 문서화되었습니다. 데이터 집합은 작업과 일대일로 대응하지 않지만 사용되는 데이터에 대한 정보는 각 산출물 보고서에 포함되어야합니다.

작업: 데이터 선택

이제 데이터 마이닝에 실제로 사용하려는 데이터의 부분을 결정하게됩니다.

이 작업을위한 산출물은 포함 및 제외의 근거입니다. 여기에서는 추가 데이터 마이닝 작업에 사용할 데이터와 사용하지 않을 데이터를 설명합니다.

목표, 데이터 품질 및 기술적 인 문제 (예: 도구의 필드 또는 행 수 제한)와의 관련성을 기반으로 보유하고있는 데이터의 각 부분을 포함 또는 제외하는 이유를 설명합니다. 처리 또는 필요에 맞게 데이터 형식의 적합성을 평가할 수 있습니다.

작업: 데이터 정리

사용하기로 선택한 데이터가 완벽하게 정리되지 않습니다 (오류가 없음). 일부 사례 또는 개별 셀 (데이터 항목)을 제외하고 특정 데이터 수정을 위해 소스를 추적하거나보다 정교한 모델링 기법으로 선택된 기본값 또는 대체물로 일부 데이터 항목을 대체하는 등의 변경 작업을 수행 할 수 있습니다. 데이터 마이닝 작업 전체 또는 일부에 대해 데이터의 하위 집합 만 사용하도록 선택할 수 있습니다.

이 작업의 결과물은 데이터 정리 보고서로, 데이터를 정리하는 데 사용 된 모든 결정과 조치를 상세하게 문서화합니다. 이 보고서는 프로세스의 데이터 이해 단계에서 데이터 품질 확인 작업에서 확인 된 각 데이터 품질 문제를 다루고 참조해야합니다. 또한 데이터 정리 중에 선택한 결과로 인한 잠재적 영향을 다루어야합니다.

작업: 데이터 작성

새로운 필드를 파생시킬 필요가있을 수 있습니다 (예: 고객이 주문을 접수 한 시간을 계산하기 위해 고객이 주문한 배달 날짜와 날짜 사용) 그렇지 않으면 새로운 형식의 데이터를 생성합니다.

이 작업의 산출물에는 두 가지 보고서가 포함됩니다.

파생 된 특성:

• 사용자가 생성 한 새로운 필드 (열), 수행 방법 및 이유를 설명하는 보고서입니다. 생성 된 레코드:

• 작성한 새로운 사례 (행), 수행 방법 및 이유를 설명하는 보고서. 병합 데이터 및 형식 데이터 작업은 프로세스의이 단계에서 마지막에 나열되지만 항상 마지막에 오는 것은 아니며 한 번만 올릴 수도 있습니다. 데이터 준비 단계 초기에 병합 또는 재구성을해야 할 수도 있습니다.

작업: 데이터 통합 ​​

이제 데이터가 서로 다른 여러 데이터 세트에 포함될 수 있습니다. 모델링 단계를 준비하려면 이종 데이터 세트의 일부 또는 전체를 함께 병합해야합니다.

이 작업의 결과물은 병합 된 데이터입니다. 병합이 수행 된 방법을 문서화하는 것은 상 당하지 않습니다.

작업: 데이터 서식 지정

데이터는 모델링에 가장 편리한 형식이 아닌 다른 형식으로 사용자에게 제공됩니다. (형식 변경은 일반적으로 도구의 디자인에 따라 결정됩니다.) 이제 해당 형식을 변환하십시오.

이 작업을위한 산출물은 사용자의 재 형식화 된 데이터입니다. (변경 사항을 설명하는 약간의 보고서는 포함시키는 것이 현명합니다.)

데이터 마이닝 프로세스의 데이터 준비 단계는 모델링 준비가 된 데이터 세트와 데이터 세트를 설명하는 철저한 보고서로 끝내야합니다.