비디오: 5 1 Model Selection I 2025
경우에 따라 기계 학습을 위해서는 교차 유효성 검사에 의존해야합니다. 열차 / 테스트 세트의 눈에 띄는 문제점은 샘플링 트레이닝 데이터의 크기를 줄이기 때문에 실제로 테스트에 편향을 도입한다는 것입니다. 데이터를 분리하면 실제로 유용한 예제를 교육에서 제외시킬 수 있습니다. 또한 데이터가 매우 복잡하여 테스트 세트가 교육 세트와 유사하지만 값 조합이 다르기 때문에 (고도의 차원 데이터 세트에서 일반적 임) 교육 세트와 유사하지는 않은 경우가 있습니다.
이러한 문제는 많은 예제가 없을 때 샘플링 결과의 불안정성을 증가시킵니다. 불리한 방식으로 데이터를 분할 할 위험은 기계 학습 전문가가 기계 학습 솔루션을 평가하고 조정해야 할 때 열차 / 테스트 분할이 선호되는 솔루션이 아닌 이유를 설명합니다.
k- 폴드에 기반한 교차 검증은 실제로 해답입니다. 랜덤 분할에 의존하지만 이번에는 데이터를 동일한 크기의 폴드 (데이터의 일부) k 개로 나눕니다. 그런 다음 각 폴드가 테스트 세트로 차례로 유지되고 나머지는 트레이닝에 사용됩니다. 각 반복은 오류 추정을 생성하는 테스트와 다른 폴드를 사용합니다.
중고 폴드 수를 늘리면 실제로 훈련 세트의 크기가 커지기 때문에 예제의 수에 관계없이 잘 작동합니다 (큰 k, 큰 훈련 세트, 편향 감소) 및 테스트 세트의 크기 감소.
- 개별 접기에 대한 분배의 차이는 그다지 중요하지 않습니다. 폴드가 다른 폴드에 비해 분포가 다른 경우 폴트는 테스트 세트로 한 번만 사용되며 나머지 테스트 동안 트레이닝 세트의 일부로 다른 폴드와 혼합됩니다.
- 실제로 모든 관측을 테스트하고 있으므로 모든 데이터를 사용하여 기계 학습 가설을 완전히 테스트하고 있습니다.
- 결과의 평균을 취함으로써 예측 성능을 기대할 수 있습니다. 또한 결과의 표준 편차는 실제 샘플 밖의 데이터에서 얼마나 많은 편차가 발생할 수 있는지 알려줍니다. 교차 검증 된 퍼포먼스의 변화가 클수록 알고리즘이 적절하게 포착 할 수없는 매우 다양한 데이터가 있음을 알려줍니다.
- 사용하는 데이터에 중요한 순서가있는 경우가 아니면 k- 교차 교차 유효성 검사를 사용하는 것이 항상 최적의 선택입니다. 예를 들어, 판매와 같은 시계열이 필요할 수 있습니다. 이 경우, 무작위 샘플링 방법을 사용해서는 안되며 원래의 시퀀스를 기반으로 한 열차 / 테스트 분할에 의존해야 순서가 유지되고 해당 순서 시리즈의 마지막 예제를 테스트 할 수 있습니다.
