시스템의 오류로 인해 발생하는 특이 치를 다루는 방법 - 여러분이 의존 할 때

예측 분석 작업을 수행하기 위해 기술이나 계측을 사용하는 경우 여기 또는 그로 인한 결함으로 인해이 계측기가 극단적 인 값이나 비정상적인 값을 등록 할 수 있습니다. 센서가 기본적인 품질 관리 표준을 충족시키지 못하는 관측 값을 등록하면 데이터에 반영되는 실제 중단이 발생할 수 있습니다.

예를 들어, 데이터 입력을 수행하는 사람은 실수로 값 끝에 여분의 0을 추가하고, 항목을 범위를 벗어나 특이 치를 생성 할 수 있습니다.

볼티모어 항구에 설치된 수분 센서로 수집 된 관측 데이터를보고 평균 해발 20 피트 이상의 수심을보고하는 경우 - 이상치가 있습니다. 볼티모어가 완전히 물로 덮혀 있지 않으면 센서가 분명히 잘못되었습니다.

외부 사건 또는 사람이나 도구의 오류로 인해 데이터에 이상치가 발생할 수 있습니다.

플래시 충돌과 같은 실제 이벤트가 시스템의 오류로 추적되는 경우 그 결과는 여전히 실제이지만 문제의 원인을 알고 있다면 모델이 아닌 데이터의 결함이 있다고 결론 내릴 수 있습니다 모델이 이벤트를 예측하지 못했다고 비난했습니다.

아웃 라이어의 근원을 아는 것은 그것을 처리하는 방법에 대한 귀하의 결정을 안내 할 것입니다. 데이터 입력 오류의 결과 인 이상 치는 데이터 소스를 참조한 후 쉽게 수정할 수 있습니다. 변경 현실을 반영하는 이상 치는 모델을 변경하라는 메시지를 표시 할 수 있습니다.

오류 또는 결함이 아닌 극단적 인 데이터를 포함 할 것인지 무시할 것인지 결정할 때는 아무런 답이 없습니다. 응답은 수행중인 분석의 성격과 구축중인 모델의 유형에 따라 다릅니다. 몇 가지 경우에, 그 이상 치를 처리하는 방법은 간단합니다:

• 데이터 소스를 참조 할 때 외부 값을 데이터 입력 오류로 추적하면 데이터를 쉽게 수정할 수 있고 모델을 그대로 유지할 수 있습니다.

• 볼티모어 항구에있는 해당 수위 센서가 평균 해발 20 피트 깊이의 물을보고 볼티모어에있는 경우 창을보세요.

  • 볼티모어가 완전히 물로 덮여 있지 않으면 센서 분명히 틀렸다.

  • 너에게 물고기가 보이면 현실이 바뀌었다. 모델을 수정해야 할 수도 있습니다.

• 플래시 충돌은 일시적인 이벤트 였지만 (단기간에, 어쨌든 단기간), 그 효과는 실제적이었습니다. 그리고 장기간 시장을 연구했다면, 비슷한 일이 다시 일어날 수도 있습니다..당신의 사업이 재정 상태이고 항상 주식 시장을 다루는 경우, 당신은 당신의 모델이 그러한 수차를 설명하기를 바랍니다.

일반적으로 특이한 것으로 간주되는 사건의 결과가 비즈니스에 중요한 영향을 미칠 수있는 경우 분석에서 이러한 이벤트를 처리하는 방법을 고려하십시오. 아웃 라이어에 대한 다음 일반 사항을 명심하십시오.

• 작은 데이터 세트 일수록 아웃 라이어가 분석에 미칠 수있는 영향이 더 중요합니다.

• 모델을 개발할 때 아웃 라이어를 찾고 비즈니스에 미치는 영향을 체계적으로 이해하는 기술을 개발해야합니다. 특이 치를 검출하는 것은 복잡한 과정 일 수있다; 그들을 식별 할 수있는 간단한 방법이 없습니다.

• 도메인 전문가 (모델링하는 분야를 아는 사람)는 데이터 포인트가 유효한지, 무시할 수있는 이상치 또는 자신이 가지고있는 이상치를 확인하는 데 가장 적합한 사람입니다. 고려해야합니다. 도메인 전문가는 이상 치를 만든 요인, 그 가변성 범위 및 비즈니스에 미치는 영향을 설명 할 수 있어야합니다. 시각화 도구는 데이터에서 아웃 라이어를 발견하는 데 도움을 줄 수 있습니다. 또한 예상되는 값 범위를 알고 있으면 해당 범위를 벗어나는 데이터를 쉽게 쿼리 할 수 ​​있습니다.