예측 예측 모델의 정확성을 평가하는 방법 - 예측 모델의 품질을 분석 할 때

모델의 예측이 정확해질수록 비즈니스에 대한 유용성이 커지며 이는 품질을 나타냅니다. 예측 된 이벤트가 드문 경우를 제외하면이 모든 것이 좋습니다. 이 경우, 예측 모델의 고정밀도는 의미가 없을 수 있습니다.

예를 들어 희귀 한 사건이 발생할 확률이 5 %라면, 간단히 대답하는 모델은 & ldquo; 아니요 & rdquo; 희귀 한 사건이 발생했는지 여부를 묻는 질문은 항상 95 % 나됩니다. 그런 모델이 얼마나 유용할까요?

이와 같은 경우 희귀 한 사건이 발생할 확률에 비추어 예측 모델의 효능과 품질을 평가할 수 있습니다. 따라야 할 유용한 측정 항목은 모델에서 허용 할 수있는 오류 유형과 허용 할 수없는 오류 유형을 지정하는 것입니다.

모델을 평가할 수있는 다른 방법이 있습니다.

모델의 산출물이 평가 기준을 충족하는지 확인하십시오.

• 모델을 반복적으로 일관성있게 테스트 할 수 있도록 테스트 전략을 수립하십시오.

• 모델이 구축 된 비즈니스 목표를 모델이 얼마나 잘 충족하는지 측정합니다.

• 모델을 실시간으로 배포하는 위험을 평가합니다.

• 지나치게 조화되도록 도와주세요. 예측 모델을 만들 때 데이터 집합은 전체 인구의 샘플 일뿐입니다. 데이터가 무엇인지에 관계없이 항상 알 수없는 요인이있을 수 있습니다.

빠른 점검 목록부터주의하여 예측 모델 분석에 접근하십시오.

• 모델을 교육하는 데 사용하기 전에 최대한의 노력으로 데이터를 준비하십시오.

• 이상 치를 포함하거나 제외하기 전에주의 깊게 고려하십시오.

• 반복적 인 테스트와 평가에주의하십시오.

• 샘플 데이터와 테스트 데이터를 교차 점검하여 초과 맞춤을 피하십시오.

• 도메인 지식 전문가와 자주상의하십시오.