비디오: 고용노동부주관- [ 전액 무료 ] 구트아카데미 머신러닝취업교육 및 하둡취업반 교육 2024
완벽한 세계에서 기계 학습 알고리즘이 전에 배웠던 적이없는 데이터에 대한 테스트를 수행 할 수 있습니다. 그러나 새로운 데이터를 기다리는 것이 시간과 비용 측면에서 항상 가능하지는 않습니다.
첫 번째 간단한 해결 방법으로 데이터를 무작위로 교육 및 테스트 세트로 분리 할 수 있습니다. 공통 분모는 테스트를 위해 25 ~ 30 %이고, 나머지 75 ~ 70 %는 교육입니다. 응답과 기능으로 구성된 데이터를 동시에 분할하여 각 응답과 기능 간의 일치를 유지합니다.
두 번째 방법은 학습 알고리즘을 조정해야 할 때 발생합니다. 이 경우 테스트 스플릿 데이터는 스누핑 (snooping)이라고하는 다른 종류의 오버 피팅 (overfitting)을 유발하기 때문에 좋은 방법이 아닙니다. 스누핑을 극복하려면 세 번째 분할 (유효성 검사 집합이라고 함)이 필요합니다. 제안 된 나누기는 연습을 위해 70 %, 유효성 검사에 20 %, 테스트에 10 %를 사용하여 예제를 세 번째로 분할하는 것입니다.
임의로 분할을 수행해야합니다. 즉, 데이터의 초기 순서에 관계없이 분할을 수행해야합니다. 그렇지 않으면 주문이 신뢰할 수 없습니다. 주문에 따라 과대 평가 (의미있는 주문이있는 경우) 또는 과소 평가 (배포가 너무 많이 다른 경우)가 발생할 수 있기 때문입니다. 솔루션으로, 테스트 세트 분포가 학습 분포와 크게 다르지 않고 분할 데이터에서 순차 정렬이 발생하는지 확인해야합니다.
예를 들어, 가능한 경우 식별 번호가 세트에서 연속적인지 확인하십시오. 때로는 무작위 샘플링을 엄격하게 준수한다고 할지라도 세트 사이에서 비슷한 분포를 얻을 수있는 것은 아니며, 특히 예제 수가 적을 때 그렇습니다.
n이 10보다 큰 예제 n이 많으면 무작위로 분할 된 데이터 집합을 만들 수 있습니다. 데이터 세트가 더 작 으면 평균, 모드, 중앙값 및 분산과 같은 기본 통계를 응답 및 테스트 세트의 기능과 비교하면 테스트 세트가 부적절한 것인지 여부를 이해하는 데 도움이됩니다. 분할이 맞는지 확실하지 않으면 새 분할 영역을 다시 계산하면됩니다.
