예측 분석을 위해 파생 데이터를 생성하고 그 차원을 줄이는 방법 -이 책의

예측 분석의 탐색 단계에서는 데이터에 대한 친숙한 지식을 얻게되며 분석을 통해 관련 변수를 선택하는 데 도움이됩니다. 이 이해는 모델 결과를 평가하는데도 도움이됩니다. 그러나 먼저 분석을 위해 데이터를 확인하고 정리해야합니다.

파생 데이터를 생성하는 방법

파생 된 속성 은 하나 이상의 기존 속성으로 작성된 완전히 새로운 레코드입니다. 예를 들어 도서 박람회에서 베스트 셀러 인 도서를 식별하는 레코드를 만드는 것입니다. 원시 데이터는 이러한 레코드를 캡처하지 않을 수 있지만 모델링 목적으로 파생 된 레코드가 중요 할 수 있습니다. 재무 응용 프로그램에 많이 사용되는 파생 데이터의 두 가지 예가 소득 당 가격 비율과 200 일 이동 평균입니다.

파생 된 속성은 생년월일을 추론하는 등 간단한 계산을 통해 얻을 수 있습니다. 파생 된 속성은 여러 레코드의 정보를 요약하여 계산할 수도 있습니다.

예를 들어, 고객 테이블과 구매 한 도서를 테이블로 변환하면 추천 시스템을 통해 판매 된 책 수, 표적 마케팅 및 도서 박람회를 통해 도서 수를 추적하고 책자 수를 추적 할 수 있습니다. 그 책들을 샀어.

파생 레코드는 새로운 정보를 가져오고 원시 데이터를 표현하는 새로운 방법을 제공하는 새로운 레코드입니다. 그들은 예측 모델링에 엄청난 가치가있을 수 있습니다.

데이터의 차원을 줄이는 방법

예측 모델에서 사용되는 데이터는 일반적으로 여러 소스에서 풀링됩니다. 분석은 여러 데이터 형식, 파일 및 데이터베이스에 분산 된 데이터 또는 동일한 데이터베이스 내의 여러 테이블에서 추출 할 수 있습니다. 데이터를 함께 모으고이를 데이터 모델러가 사용할 통합 형식으로 결합하는 것은 필수적입니다.

데이터에 계층 적 콘텐츠가 포함되어있는 경우

평평하게 해야 할 수 있습니다. 일부 데이터에는 상위 - 하위 관계와 같은 일부 계층 적 특성 또는 다른 레코드로 구성된 레코드가 있습니다.예를 들어 자동차와 같은 제품에는 여러 제조업체가있을 수 있습니다. 이 경우 데이터 병합은 분석중인 레코드의 추가 기능으로 각 제조업체를 포함시키는 것을 의미합니다. 데이터 병합은 여러 개의 관련 레코드를 병합하여 더 좋은 그림을 만들 때 필수적입니다. 예를 들어, 여러 회사가 만든 여러 의약품에 대한 부작용을 분석하려면 물질 수준에서 데이터를 평평하게해야 할 수 있습니다. 이렇게하면 반복되는 여러 개의 물질 입력을 반복하여 너무 많은 데이터 중복을 초래할 수있는

일대 다 관계

(이 경우 많은 제조업체와 한 제품의 많은 물질)를 제거하게됩니다 제품 및 제조 업체 정보를 제공합니다. 병합 (Flattening)은 레코드 또는 관측치의 피쳐 수로 표현되는 데이터의 차원을 감소시킵니다.

예를 들어 고객은 이름, 나이, 주소, 구매 한 품목 등의 기능을 가질 수 있습니다. 분석을 시작하면 많은 기능이있는 레코드를 평가할 수 있으며 그 중 일부는 분석에 중요합니다. 따라서 특정 프로젝트에 가장 큰 영향력을 행사할 수있는 기능을 제외한 모든 기능을 제거해야합니다. 데이터의 차원을 줄이려면 관심있는 속성을 나타 내기 위해 여러 열을 사용하는 단일 테이블에 모든 데이터를 넣으면됩니다. 물론 분석 초기에는 많은 수의 열을 평가해야하지만 분석이 진행됨에 따라 그 수를 좁힐 수 있습니다. 이 프로세스는 유사한 특성을 갖는 카테고리들로 데이터를 그룹화함으로써 필드를 재구성함으로써 도움을받을 수있다. 결과 데이터 세트 - 정리 된 데이터 세트 -는 일반적으로 애널리스트가 사용할 별도의 데이터베이스에 저장됩니다. 모델링 프로세스 중에이 데이터에 쉽게 액세스하고 관리하며 최신 상태로 유지해야합니다.