예측 분석을위한 데이터 준비

비디오: 소셜분석에서 판매예측까지 AI기반 빅데이터 분석(적용사례) - Brightics AI (미디어 설명회) 2024

모델의 목표를 정의한 경우 예측 분석의 다음 단계는 모델을 작성하는 데 사용할 데이터를 식별하고 준비하는 것입니다. 다음 정보는 가장 중요한 활동을 다룹니다. 일반적인 순서 단계는 다음과 같습니다.

데이터 소스를 식별하십시오.

데이터는 다양한 형식이거나 다양한 위치에있을 수 있습니다.
해당 데이터에 액세스하는 방법을 식별하십시오.

때로는 제 3 자 데이터 또는 조직의 다른 부서가 소유 한 데이터를 취득해야합니다.
분석에 포함 할 변수를 고려하십시오.
하나의 표준 접근법은 광범위한 변수로 시작하여 모델에 대한 예측 가치를 제공하지 않는 변수를 제거하는 것입니다.
파생 변수 사용 여부 결정. 대부분의 경우 파생 변수 (주가를 분석하는 데 사용 된 수익률과 같은)는 원시 변수보다 모델에 더 큰 직접적인 영향을 미칩니다.

데이터의 품질을 탐색하여 주 및 제한을 이해하려고합니다.
모델의 예측 정확도는 선택한 변수와 데이터의 품질과 직접 관련이 있습니다. 이 시점에서 일부 데이터 관련 질문에 답할 수 있습니다.

데이터가 완성 되었습니까?
- 이상치가 있습니까?
- 데이터를 정리해야합니까?
- 누락 된 값을 채우거나 그대로 두거나 제거해야합니까?
- 데이터 및 속성을 이해하면 모델을 구축하는 데 가장 유용한 알고리즘을 선택할 때 도움이됩니다. 예:

회귀 알고리즘을 사용하여 시계열 데이터를 분석 할 수 있습니다. 분류 알고리즘은 개별 데이터를 분석하는데 사용될 수있다.

연관 알고리즘은 상관 된 속성을 갖는 데이터에 사용될 수있다.
개별 알고리즘과 예측 기법은 서로 다른 약점과 강점을 가지고 있습니다. 가장 중요한 점은 모델의 정확성은 많은 양의 데이터와 품질의 데이터를 모두 사용한다는 점입니다. 통계적으로 의미있는 결과를 제공하려면 충분한 수의 기록이 있어야합니다.

관련 데이터 (장기간에 걸친 많은 레코드가 바람직 함) 수집, 사전 처리 및 가장 예측 가치가 높은 기능 추출은 대부분의 시간을 소비하는 곳입니다. 그러나 여전히 비즈니스 문제에 적합한 알고리즘 인 알고리즘을 현명하게 선택해야합니다.

데이터 준비는 작업중인 프로젝트와 사용자가 선택한 알고리즘에 따라 다릅니다.프로젝트 요구 사항에 따라 적절하게 데이터를 준비하고 비즈니스 요구를 해결하기 위해 모델을 빌드 할 때 알고리즘에 제공합니다.

모델을 훈련하고 테스트하는 데 사용되는 데이터 세트에는 해결하려는 문제에 대한 답변을 제공하는 관련 비즈니스 정보가 있어야합니다. 귀하의 목표가 (예를 들어) 어떤 고객이 변동될 가능성이 있는지를 결정하는 경우, 선택하지 않은 고객 이외에 과거에 변동이 있었던 고객에 대한 정보를 포함해야합니다.

데이터를 마이닝하고 기본 관계를 이해하기 위해 만든 일부 모델 (예: 클러스터링 알고리즘으로 구축 된 모델)은 특별한 최종 결과를 염두에 두지 않아도됩니다.

언더 피팅

은 모델에서 데이터의 관계를 감지 할 수없는 경우입니다. 이것은 대개 예측 변수가있는 필수 변수가 분석에 포함되지 않았다는 표시입니다.

모델에 사용 된 변수의 예측력이 높지 않으면 새 도메인 별 변수를 추가하고 모델을 다시 실행하십시오. 최종 목표는 교육 데이터에서 모델의 성능을 향상시키는 것입니다. 고려해야 할 또 다른 문제는

계절성

입니다 (계절적 패턴이있는 경우 여러 계절을 분석하지 못하면 문제가 발생할 수 있습니다). 예를 들어 황소의 데이터 만 포함하는 주식 분석 시장 (전반적인 주가가 올라가는) 시장은 주식의 전반적인 성과를 크게 수정할 수있는 위기 나 거품을 설명하지 못합니다. 황소 와 곰 시장 모두에 걸친 데이터를 포함하지 못하면 (전체 주가가 떨어지는 경우) 모델이 최상의 포트폴리오 선택을 할 수 없게됩니다. Overfitting Overfitting