예측 분석 모델 테스트 방법 - 빌드 한 예측 분석 모델을 테스트 할 수있는 더미

구축 한 예측 분석 모델을 테스트하려면 데이터 세트를 교육 및 테스트 데이터 세트의 두 세트로 분리해야합니다. 이 데이터 세트는 무작위로 선택해야하며 실제 인구를 잘 나타내야합니다. 유사한 데이터가 훈련 및 테스트 데이터 세트 모두에 사용되어야한다.

• 일반적으로 훈련 데이터 세트는 테스트 데이터 세트보다 훨씬 큽니다.

• 테스트 데이터 세트를 사용하면 초과 맞춤과 같은 오류를 피할 수 있습니다.

• 훈련 된 모델은 테스트 데이터에 대해 실행되어 모델이 얼마나 잘 수행되는지 확인합니다.

• 일부 데이터 과학자는 첫 번째 데이터 집합과 유사한 특성을 갖는 세 번째 데이터 집합, 즉

유효성 검사 데이터 집합 을 선호합니다. 모델을 개선하기 위해 테스트 데이터를 적극적으로 사용하는 경우 별도의 (세 번째) 세트를 사용하여 모델의 정확성을 검사해야한다는 아이디어가 있습니다.

모델의 개발 프로세스의 일부로 사용되지 않은 유효성 검사 데이터 세트가 있으면 모델의 정확성과 유효성을 중립적으로 추정하는 데 도움이됩니다.

다양한 알고리즘을 사용하여 여러 모델을 작성한 경우 유효성 검사 샘플을 통해 어떤 모델이 가장 잘 수행되는지 평가할 수 있습니다.

모델 개발 및 테스트 작업을 다시 확인하십시오. 특히, 모델의 성능이나 정확성이 사실로보기에는 너무 좋다고 생각되면 회의적입니다. 오류는 예상치 못한 상황에서 발생할 수 있습니다. 예를 들어, 시계열 데이터의 날짜를 잘못 계산하면 오류가 발생할 수 있습니다.

교차 유효성 검사

는 모델을 평가하고 검증하는 데 사용할 수있는 보편적 인 기술입니다. 테스트 및 교육을 위해 별도의 데이터 세트를 사용하는 것과 동일한 원칙이 여기에 적용됩니다. 교육 데이터가 모델을 작성하는 데 사용됩니다. 모델은 이전에 보지 못했던 데이터를 예측하기 위해 테스트 집합에 대해 실행됩니다. 이는 정확성을 평가하는 한 가지 방법입니다. 교차 검증에서, 이력 데이터는 X 개의 서브 세트로 분할된다. 테스트 데이터로 사용하기 위해 서브 세트가 선택 될 때마다 나머지 서브 세트가 학습 데이터로 사용됩니다. 그런 다음 다음 실행에서 이전 테스트 세트가 교육 세트 중 하나가되고 이전 교육 세트 중 하나가 테스트 세트가됩니다. 프로세스는 그 X 세트의 세트의 모든 서브 세트가 테스트 세트로서 사용될 때까지 계속된다.

예를 들어, 1에서 5까지 번호가 매겨진 5 세트로 나누어 진 데이터 세트가 있다고 가정하십시오. 첫 번째 실행에서는 세트 1을 테스트 세트로 사용하고 세트 2, 3, 4 및 5를 학습 세트로 사용합니다.그런 다음 두 번째 실행에서 세트 2를 테스트 세트로 사용하고 1, 3, 4 및 5를 학습 세트로 설정합니다. 5 세트의 모든 하위 세트가 테스트 세트로 사용될 때까지이 프로세스를 계속합니다.

교차 검증을 통해 교육 데이터 및 테스트 데이터 모두에있는 모든 데이터 요소를 사용할 수 있습니다. 이 기법은 과거 데이터를 두 세트로 나누는 것보다 훨씬 효과적입니다. 세트를 사용하여 교육을위한 가장 많은 데이터를 사용하고 테스트를 위해 다른 세트를 사용하여 그 데이터를 남깁니다.

데이터를 교차 검증하면 너무 예측하기 어려운 테스트 데이터를 무작위로 선택하지 않으므로 자신의 모델이 정확하다는 잘못된 인상을 줄 수 있습니다. 또는 예측하기 어려운 테스트 데이터를 선택하는 경우 원하는대로 모델이 성능이 좋지 않다고 잘못 판단 할 수 있습니다.

교차 검증은 모델의 정확성을 검증하는 것뿐만 아니라 여러 모델의 성능을 비교하는 데에도 널리 사용됩니다.

편향과 분산의 균형을 유지하는 방법

편향과 분산은 분석 모델을 구축 할 때 발생할 수있는 두 가지 오류의 원인입니다.

바이어스

는 모델 작성에 사용 된 기록 데이터의 데이터 요소 간 관계 표현을 크게 단순화 한 모델을 작성한 결과입니다.

분산

은 모델을 작성하는 데 사용 된 데이터에 명시 적으로 특정한 모델을 작성한 결과입니다. 바이어스와 분산 사이의 균형을 달성 - 편차를 줄이고 편향을 허용함으로써보다 나은 예측 모델로 이어질 수 있습니다. 이러한 절충은 일반적으로 덜 복잡한 예측 모델을 구축하게됩니다.

편향과 분산 사이의 균형을 고려하기 위해 많은 데이터 마이닝 알고리즘이 생성되었습니다. 아이디어 문제를 해결하는 방법

모델을 테스트 할 때 아무데도 가지 않을 때 고려해야 할 사항은 다음과 같습니다. 항상 작업을 다시 확인하십시오. 자신이 옳다고 가정 한 것을 간과 한 것일 수도 있습니다. 이러한 결함은 데이터 세트의 예측 변수 값 또는 데이터에 적용한 전처리 변수의 값들 사이에 나타날 수 있습니다.

선택한 알고리즘이 결과를 산출하지 못하면 다른 알고리즘을 시도하십시오. 예를 들어 여러 가지 분류 알고리즘을 사용할 수 있으며 데이터 및 비즈니스 목표에 따라 모델 중 하나가 다른 모델보다 더 잘 수행 될 수 있습니다.

다른 변수를 선택하거나 새 파생 변수를 만들어보십시오. 예측력이있는 변수를 항상주의하십시오.

데이터를 이해하고 변수를 선택하고 모델 결과를 해석하는 데 도움을 줄 수있는 비즈니스 도메인 전문가에게 자주 문의하십시오.