데이터 과학에서 사용되는 분류 알고리즘 - 분류 알고리즘을 사용한 더미

분류 알고리즘을 사용하면 기존 데이터 세트를 미래 데이터 포인트의 분류에 사용할 예측 모델을 생성하기 위해 알고있는 것을 사용하십시오. 미래의 데이터 포인트의 카테고리를 예측하기위한 모델을 만들기 위해 데이터 세트와 알려진 하위 세트를 사용하는 것이 목표라면 분류 알고리즘을 사용하는 것이 좋습니다.

감독 분류를 구현할 때 데이터 하위 집합을 이미 알고 있어야합니다.이 하위 집합은 범주 라고합니다. 분류를 사용하면 데이터 세트의 미리 정의 된 카테고리에 데이터가 얼마나 잘 맞는지 확인할 수 있으므로 향후 데이터 포인트를 분류하는 데 사용할 예측 모델을 작성할 수 있습니다.

그림은 대륙 별 카테고리에 따라 세계 은행의 소득 및 교육 데이터 세트를 분류하는 방법을 보여줍니다.

일부 경우 클러스터링 기술로 식별 할 수있는 하위 집합은 대륙 범주에 해당하지만 다른 경우에는 그렇지 않을 수 있습니다. 예를 들어, 아프리카 데이터 포인트 가운데 한 아시아 국가를 살펴보십시오. 부탄입니다. 이 데이터 집합의 데이터를 사용하여 들어오는 데이터 요소의 대륙 범주를 예측하는 모델을 작성할 수 있습니다.

원래 데이터에 부탄이 포함되지 않은 상황을 상상해보십시오.이 모델을 사용하여 부탄의 대륙을 새로운 데이터 포인트로 예측합니다. 이 시나리오에서 부탄은 아프리카 대륙의 일부라고 잘못 예측했다.

모델과 피팅 (

model overfitting)의 예 - 모델이 기본 데이터 집합에 너무 밀접하게 맞아 떨어지는 상황과 해당 데이터 집합에 내재 된 잡음 또는 임의 오류 모델이 새로운 데이터 요소에 대한 예측 자로서 잘 수행되지 못한다는 것을 의미합니다. 모델의 초과 적용을 피하려면 데이터를 학습 세트와 테스트 세트로 나눕니다. 일반적인 비율은 데이터의 80 %를 학습 집합에 할당하고 나머지 20 %는 테스트 집합에 할당하는 것입니다. 교육 세트로 모델을 만든 다음 테스트 세트를 사용하여 테스트 세트 데이터 포인트를 알 수없는 척하면서 모델을 평가하십시오. 모델별로 이러한 테스트 세트 데이터 요소에 할당 된 카테고리를 실제 카테고리와 비교하여 모델의 정확성을 평가할 수 있습니다. 모델 과대 화 역시 문제가 될 수있다.

지나친 일반화 (Overgeneralization)

는 오버 피팅 (overfitting)의 반대입니다. 데이터 과학자가 모델을 극도로 일반적으로 만들어 오버 피팅 (overfitting)으로 인해 분류를 잘못하려는 경우 발생합니다. 너무 일반적 인 모델은 모든 카테고리에 낮은 신뢰도를 부여하게됩니다. 모델 과대 화를 설명하기 위해 세계 은행 소득 및 교육 데이터 세트를 다시 고려한다. 모델이 부탄의 존재를 사용하여 근처에있는 모든 새로운 데이터 포인트에 의문을 던지면 근처의 모든 점을 아프리카로 처리 할 확률이 낮은 소박한 모델로 끝납니다. 이 모델은 예측력이 떨어진다. 오버 피팅 (overfitting)과 과잉 생성 (overgeneralization)에 대한 좋은 은유는 잘 알려진 문구를 통해 설명 될 수 있습니다. "오리처럼 걷고 오리처럼 말하면 오리입니다. "부족함은이 문구를"내가 오리를 걷고 돌팔이 키우는 것을 개인적으로 관찰 한 방식으로 정확히 걷고 쑤셔 주면 오리입니다. 호주의 얼룩덜룩 한 오리가 걷고 돌팔매 갈 때의 모습을 본 적이 없으므로 호주의 오리는 전혀 오리가되어서는 안됩니다. 대조적으로, 지나친 일반화는 "두 개의 다리를 돌아 다니며 고음과 비음을 내면 오리 다. 따라서 90 년대 미국계 시트콤 <909> 의 Fran Fine, Fran Drescher의 등장 인 보모

는 오리가되어야합니다. "

감독 대상 기계 학습

- 분류의 멋진 용어는 다음과 같은 특성이 참인 상황에서 적절합니다. 분석중인 데이터 집합을 알고 이해합니다. 데이터 집합의 하위 집합 (범주)은 미리 정의되며 데이터로 결정되지 않습니다.

미리 정의 된 범주 내의 데이터와 상관 관계가있는 모델을 작성하여 모델이 향후 데이터 요소의 카테고리를 예측하는 데 도움을 줄 수 있습니다. 분류를 수행 할 때 다음 사항에 유의하십시오.

• 모델 예측은 모델의 기본 데이터만큼 우수합니다.

• 세계 은행의 데이터 예에서 기대 수명이나 1 인당 에너지 사용량이 모델에 추가 된 경우 예측 강도가 증가 할 수 있습니다.

• 모델 예측은 기본 데이터 집합의 범주화만큼 우수합니다.

예를 들어 러시아와 같이 두 대륙에 걸친 국가에서는 무엇을합니까? 북아프리카와 사하라 사막 이남의 아프리카를 구별합니까? 비슷한 속성을 공유하는 경향이 있으므로 북미 지역을 유럽과 함께 덩어리로 만드십니까? 중앙 아메리카가 북미 또는 남미의 일부라고 생각하십니까? overfitting과 overgeneralization의 끊임없는 위험이있다. 행복한 매체가 두 사람 사이에서 발견되어야합니다.