예측 분석 모델에 대한 데이터 준비 방법 - 목표를 정의한 후에 더미

예측 분석을 위해 모델의 목표를 정의한 후 다음 단계는 모델을 작성하는 데 사용할 데이터를 식별하고 준비하는 것입니다. 일반적인 순서 단계는 다음과 같습니다.

1. 데이터 소스를 식별하십시오.

   데이터는 다양한 형식이거나 다양한 위치에있을 수 있습니다.

2. 해당 데이터에 액세스하는 방법을 식별하십시오.

   때로는 타사 데이터 또는 조직의 다른 부서에서 소유 한 데이터를 취득해야합니다.

3. 분석에 포함시킬 변수를 고려하십시오.

   하나의 표준 접근법은 광범위한 변수로 시작하여 모델에 대한 예측 값을 제공하지 않는 변수를 제거하는 것입니다.

4. 파생 변수 사용 여부 결정. 대부분의 경우 파생 변수 (주가를 분석하는 데 사용 된 수익률과 같은)는 원시 변수보다 모델에 더 큰 직접적인 영향을 미칩니다.

   데이터의 품질을 탐색하여 상태와 한계를 모두 이해하려고 시도합니다.

5. 모델의 예측 정확도는 선택한 변수와 데이터의 품질과 직접 관련이 있습니다. 이 시점에서 몇 가지 데이터 관련 질문에 답할 수 있습니다.

   데이터가 완료 되었습니까?

   • 이상치가 있습니까?

   • 데이터를 정리해야합니까?

   • 누락 된 값을 채우거나 그대로 두거나 제거해야합니까?

   • 데이터 및 속성을 이해하면 모델을 구축하는 데 가장 유용한 알고리즘을 선택할 때 도움이됩니다. 예:

회귀 알고리즘을 사용하여 시계열 데이터를 분석 할 수 있습니다. 분류 알고리즘은 개별 데이터를 분석하는데 사용될 수있다.

• 연관 알고리즘은 상관 된 속성을 갖는 데이터에 사용될 수있다.

• 모델을 훈련하고 테스트하는 데 사용되는 데이터 세트에는 해결하려는 문제에 대한 답변을 제공하는 관련 비즈니스 정보가 있어야합니다. 귀하의 목표가 (예를 들어) 어떤 고객이 변동될 가능성이 있는지를 결정하는 경우, 귀하가 선택하는 데이터 세트는 그렇지 않은 고객 이외에 과거에 휘젓 았던 고객에 대한 정보를 포함해야합니다.

• 데이터를 마이닝하고 기본 관계를 이해하기 위해 만든 일부 모델 (예: 클러스터링 알고리즘으로 구축 된 모델)은 특별한 최종 결과를 염두에 두지 않아도됩니다.

모델을 구축하면서 데이터를 처리 할 때 언더 피팅과 오버 피팅이라는 두 가지 문제가 발생합니다.

언더 피팅

언더 피팅

은 모델에서 데이터의 관계를 감지 할 수없는 경우입니다.이것은 대개 예측 변수가있는 필수 변수가 분석에 포함되지 않았다는 표시입니다. 예를 들어 황소 시장 (전체 주가가 올라가는 곳)의 데이터 만 포함하는 주식 분석은 주식의 전반적인 성과를 크게 수정할 수있는 위기 나 거품을 설명하지 않습니다.

황소 와

곰 시장 모두에 걸친 데이터를 포함하지 못하면 (전체 주가가 떨어지는 경우) 모델이 가능한 최상의 포트폴리오 선택을하지 못하게합니다. Overfitting Overfitting

는 모델에 예측력이 없지만 분석중인 데이터 세트에만 해당하는 데이터를 포함합니다.

Noise - 데이터 세트의 임의의 변형 -이 모델로 이동하여 다른 데이터 세트에서 모델을 실행하면 모델의 예측 성능과 정확도가 크게 떨어집니다. 함께 제공되는 사이드 바는 예제를 제공합니다. 모델이 특정 데이터 세트에서 정상적으로 작동하고 다른 데이터 세트에서 테스트 할 때 실적이 저조한 경우에는 초과 구현이 의심됩니다.