기계 학습 누락 데이터 - 더미

간단한 기계 학습 알고리즘과 복잡한 기계 학습 알고리즘을 모두 훈련 할 수있는 예제가 충분하더라도 기능에 대한 완전한 값을 제시해야합니다. 누락 된 데이터. 불완전한 예가 있으면 피쳐 내부와 피쳐 간의 모든 신호를 연결할 수 없습니다. 누락 값은 또한 알고리즘이 훈련 중 학습하는 것을 어렵게 만듭니다. 누락 된 데이터에 대해 뭔가를해야합니다.

대부분의 경우 누락 된 값을 무시하거나 대체 값을 추측하여이를 복구 할 수 있습니다. 그러나 누락 된 값이 너무 많으면 정보가 누락되어 가능한 모든 수치를 숨길 수 있으므로 더 많은 불확실한 예측이 렌더링됩니다. 결과적으로 기능에 누락 된 값이 많을수록 예측이 부정확 해지고 정확하지 않게됩니다.

첫 번째 단계로 각 변수의 누락 사례 수를 계산합니다. 변수에 누락 된 사례가 너무 많으면 교육 및 테스트 데이터 세트에서 삭제해야 할 수 있습니다. 어림짐작의 좋은 규칙은 인스턴스의 90 % 이상이 누락 된 경우 변수를 삭제하는 것입니다.

누락 된 데이터에는 여러 가지 이유가 있지만 중요한 점은 데이터가 임의로 또는 특정 순서로 누락되었는지 여부입니다. 무작위 누락 된 데이터는 너무 많은 걱정없이 간단한 평균, 중간 또는 다른 기계 학습 알고리즘을 사용하여 그 값을 추측 할 수 있기 때문에 이상적입니다. 어떤 경우에는 특정 종류의 사례에 대해 강한 편견이 있습니다.

예를 들어, 인구의 소득을 연구하는 경우를 생각해보십시오. 부유 한 사람들 (아마도 과세 이유 때문에)은 당신이 알지 못한다고보고함으로써 진정한 수입을 숨기는 경향이 있습니다. 반면에 가난한 사람들은 부정적인 판단을 두려워 소득을보고하고 싶지 않다고 말할 수 있습니다. 인구의 특정 지층에서 정보를 놓친 경우 누락 된 데이터를 복구하는 것은 어려울 수 있으며 오해의 소지가있을 수 있습니다. 그러한 사례는 다른 사람들과 동일하다고 생각할 수 있습니다.

대신, 그들은 상당히 다릅니다. 따라서 단순히 평균값을 사용하여 누락 된 값을 대체 할 수는 없으므로 복잡한 접근법을 사용하고 조심스럽게 조정해야합니다.또한 누락 값이 데이터 집합의 다른 변수와 어떻게 관련되는지보다 면밀히 검사해야하기 때문에 데이터를 무작위로 누락하지 않는 사례를 식별하는 것은 어렵습니다.

데이터가 무작위로 누락되면 다른 값에서 실제 값에 대한 힌트를 얻으므로 빈 값을 쉽게 수정할 수 있습니다. 데이터가 무작위로 누락되지 않는 경우 누락 된 사례와의 데이터 연결을 이해하지 않으면 사용 가능한 다른 정보로부터 좋은 힌트를 얻을 수 없습니다.

따라서 누락 된 소득을 알아 내야하고 부유층이기 때문에 누락 된 경우 누락 된 값을 중간 소득으로 바꾸므로 간단한 평균으로 대체 할 수 없습니다. 대신, 당신은 부유 한 사람들의 수입의 평균을 대체품으로 사용해야합니다.

데이터가 무작위로 누락되지 않으면 누락 된 그룹을 추적하는 데 도움이되므로 값이 누락되었다는 사실이 유익합니다. 변수 값이 누락 된 경우보고하는 새로운 바이너리 기능을 구축하여 컴퓨터 학습 알고리즘에 누락 된 이유를 찾는 일을 남겨 둘 수 있습니다. 결과적으로 기계 학습 알고리즘은 자체적으로 대체 할 최적의 값을 파악합니다.