통계, 기계 학습 및 데이터 과학의 수학 방법 - 기초

인형 용 치트 시트

> 통계가 데이터에서 통찰력을 유도하는 과학으로 묘사 된 경우 통계학 자와 데이터 과학자의 차이점은 무엇입니까? 좋은 질문! 데이터 과학의 많은 작업이 통계적 방법의 공정한 비트를 필요로하지만 데이터 과학자의 지식과 기술 기반의 범위와 폭은 통계 학자의 범위와 폭이 다릅니다. 핵심 차이점은 아래에 요약되어 있습니다.

데이터 과학자의 핵심 특징 중 하나는 분석 방법을 적용하는 분야에서 정교한 전문성을 제공한다는 것입니다. 데이터 과학자들은 자신이 생성하는 데이터 통찰력의 의미와 적용을 진정으로 이해할 수 있도록이를 필요로합니다. 데이터 과학자는 자신의 연구 결과의 중요성을 식별하고 분석 진행 방법을 독립적으로 결정할 수있는 충분한 전문 지식을 보유해야합니다. 대조적으로, 데이터 과학자들은 데이터 통찰력을 도출하기 위해 다양한 기술을 필요로합니다. 여기에는 통계적 방법뿐만 아니라 수학 기반, 클러스터링, 분류 및 비 통계적 기계 학습 접근법과 같은 통계 기반이 아닌 접근법도 포함됩니다.

통계적 노하우의 중요성보기

데이터 과학을 실천하기 위해 외출하고 통계학 학위를 취득 할 필요는 없지만 적어도 사용되는보다 근본적인 방법에 익숙해야합니다 통계 데이터 분석에서. 다음을 포함합니다: 선형 회귀

: 선형 회귀는 종속 변수와 하나 또는 여러 개의 독립 변수 간의 관계를 모델링하는 데 유용합니다. 선형 회귀의 목적은 종속 변수와 독립 변수 간의 중요한 상관 관계를 발견 (및 강도를 정량화)하는 것입니다.

시계열 분석:

• 시계열 분석은 시간 경과에 따른 속성 값에 대한 데이터 수집을 분석하여 과거 관측 데이터를 기반으로 향후 측정 된 인스턴스를 예측하는 작업을 포함합니다. Monte Carlo 시뮬레이션:

• Monte Carlo 방법은 가설을 테스트하고, 매개 변수 추정을 생성하고, 시나리오 결과를 예측하고, 모델을 검증하는 데 사용할 수있는 시뮬레이션 기술입니다. 이 방법은 평가하려는 모든 프로세스에 대해 1 ~ 10, 000 (또는 그 이상)의 시뮬레이션 샘플을 매우 신속하게 시뮬레이션하는 데 사용할 수 있기 때문에 강력합니다. 공간 데이터 통계:

• 공간 데이터의 기본적이고 중요한 속성 중 하나는 무작위가 아니라는 것입니다. 그것은 공간적으로 의존하고 자기 상관됩니다. 공간 데이터를 모델링 할 때 데이터가 무작위 인 통계 기법을 피하십시오. Kriging과 krige는 공간 데이터를 모델링하는 데 사용할 수있는 두 가지 통계 방법입니다. 이 방법을 사용하면 지리적 공간의 알려진 점 집합을 기반으로 전체 연구 영역에 대한 예측 표면을 생성 할 수 있습니다. 클러스터링, 분류 및 기계 학습 방법 작업

• 기계 학습은 원시 데이터 집합에서 학습 (또는 패턴을 추론)하는 계산 알고리즘을 적용한 것입니다. 클러스터링

은 기계 학습의 특수한 유형인데, 즉,

감독되지 않은 기계 학습은 정확하게 알고리즘이 레이블이없는 데이터로부터 학습해야한다는 것을 의미하며, 따라서 추론을 위해 유추 방법을 사용해야합니다 상관 관계. 분류 는 감독 된 기계 학습이라고하며, 알고리즘이 분류 된 데이터로부터 학습한다는 의미입니다. 다음의 설명은보다 기본적인 클러스터링 및 분류 접근법 중 일부를 소개합니다. k-means clustering: 일반적으로 k-means 알고리즘을 배포하여 데이터 세트의 데이터 포인트를 가장 가까운 평균값을 기반으로 클러스터로 세분화합니다. 데이터 포인트를 클러스터로 분할하여 각 클러스터의 포인트 간 거리를 최소화하려면 k- 평균 클러스터링을 사용할 수 있습니다.

가장 가까운 이웃 알고리즘: 가장 가까운 이웃 분석의 목적은 비교의 기준으로 사용하는 속성에 따라 가장 가까운 공간에서 가장 가까운 점 또는 가장 가까운 수치를 검색하고 찾아내는 것입니다.

• 커널 밀도 추정: 데이터의 클러스터를 식별하는 또 다른 방법은 밀도 평활화 기능을 사용하는 것입니다. 커널 밀도 추정 (KDE)은 밀도를 정량화하는 데 유용한

• 커널 - 데이터 세트의 각 데이터 포인트에 배치 한 다음 커널을 합산하여 전체에 대한 커널 밀도 추정치를 생성함으로써 작동합니다 부위.

• 수학적 방법을 혼합하여 유지하기 데이터 과학의 실천에있어 통계의 가치에 대해 많은 이야기가 있지만 적용된 수학적 방법은 거의 언급되지 않습니다. 솔직히 말해서, 수학은 모든 정량 분석의 기초입니다. 그것의 중요성은 절제되어서는 안된다. 다음 두 가지 수학적 방법은 특히 데이터 과학에서 유용합니다. MCDM (Multi-criteria decision making): MCDM은 결정을 내릴 때 동시에 평가해야하는 여러 기준 또는 대안이있을 때 사용할 수있는 수학적 의사 결정 모델링 접근 방식입니다.

마르코프 체인

: 마르코프 체인은 현재 상태 변수가 미래 상태에 어떻게 영향을 주는지 모델링하기 위해 현재 상태를 나타내는 일련의 무작위로 생성 된 변수를 연결하는 수학적 방법이다.