예측 분석 매트릭스에 원시 데이터를 변환하는 방법 -의 인형

당신이 당신의 예측 분석 프로젝트에 대한 데이터 집합에서 유사한 데이터 항목의 그룹을 추출 할 수 있습니다 전에 표에 데이터를 표시해야 할 수도 있습니다 형식은 데이터 행렬 로 알려져 있습니다. 이것은 데이터 클러스터링 이전의 전처리 단계입니다.

은 Microsoft Word 문서의 집합에 포함되어 분석하려고하고있는 데이터 집합을 가정 문서의 용어의 예측 분석 매트릭스

을 만드는 방법. 가장 먼저해야할 일은 문서 세트를 데이터 매트릭스로 변환하는 것입니다. 여러 상용 및 오픈 소스 도구가이 작업을 처리하여 행을 생성하고 각 행은 데이터 집합의 문서에 해당합니다. 이러한 도구의 예로는 RapidMiner 및 R 텍스트 마이닝 패키지가 있습니다.

A 문서 는 본질적으로 일련의 단어입니다. 용어 는 하나 또는 여러 단어의 집합입니다.

문서가 포함하는 모든 용어는 동일한 문서에서 한 번 또는 여러 번 언급됩니다. 문서에서 용어가 언급 된 횟수는 용어 빈도 (TF), 즉 수치로 나타낼 수 있습니다.

다음과 같이 문서의 용어 행렬을 구성합니다.

• 모든 문서에 나타나는 용어가 맨 위 행에 나열됩니다.

  ->

• 문서 제목이 가장 왼쪽 열에 나열됩니다.

• 행렬 셀 내부에 나타나는 숫자는 각 용어의 빈도와 일치합니다.

예를 들면, 문헌 A는 숫자의 세트로서 표현된다 (5, 16, 0, 19, 0, 0) (5)은 기간 예측 분석은 반복 횟수에 대응한다 (16) 컴퓨터 과학 이 반복되는 횟수 등이 이에 해당합니다. 이것은 문서 집합을 행렬로 변환하는 가장 간단한 방법입니다.

예측 분석	컴퓨터 과학	학습	클러스터링	2013	인류학
문서화	5	(16)	0 < 19	0	0	문서 B
8	6	2	3	0	0	문헌 C
0 < 5	2	3	3	9	문서 D	1
9	13	4	6	7 문서> E	2	16
16	0	2	13	문헌 F	13	0
19	16 > 4	2	<클러스터링 텍스트 문서 하나 개의 과제는 컬렉션에있는 모든 문서를 표현하기 위해 가장 좋은 조건을 선택하는 방법을 결정하는 예측 분석의 용어 선택의 기본. 문서 모음에 용어가 얼마나 중요한지는 여러 가지 방법으로 계산할 수 있습니다. 예를 들어,이 용어가 문서에 반복 횟수를 계산하고 전체 컬렉션 재발하는 빈도와 그 총을 비교하면	, 당신은 다른 용어에 대한 용어의 중요성 상대의 감각을 얻을.	컬렉션의 빈도에 대한 용어의 상대적 중요성을 기반으로	가중치

라고 종종 알려져 있습니다. 할당하는 무게는 두 가지 원칙을 기반으로 할 수 있습니다.

문서에 여러 번 나타나는 용어는 한 번만 나타나는 용어보다 선호됩니다.

비교적 적은 수의 문서에 사용 된 용어는 모든 문서에서 언급 된 용어보다 선호됩니다.

예를 들어 데이터 집합의 모든 문서에 라는 용어가 언급 된 경우 행렬에 고유 한 열을 갖기에는 충분한 가중치를 할당하지 않는 것이 좋습니다.

• 마찬가지로, 온라인 소셜 네트워크 사용자의 데이터 세트를 다루는 경우 해당 데이터 세트를 매트릭스로 쉽게 변환 할 수 있습니다. 사용자 ID 또는 이름이 행을 차지합니다. 열에는 해당 사용자를 가장 잘 설명하는 기능이 나열됩니다.