Apache Mahout을 예측 분석에 활용하는 방법 - 고유 한 유용한 오픈 소스 도구 인

예측 분석에서 유일하게 유용한 오픈 소스 도구는 Apache Mahout입니다. 이 기계 학습 라이브러리에는 클러스터링, 분류, 협업 필터링 및 대규모 예측 분석 모델을 지원할 수있는 기타 데이터 마이닝 알고리즘의 대규모 버전이 포함됩니다.

이러한 모델에 필요한 데이터를 처리하는 가장 좋은 방법은 Hadoop을 이미 실행중인 시스템에서 Mahout을 실행하는 것입니다. Hadoop은 분산 처리에 사용되는 다른 시스템 (예: 맵 작성 시스템 및 시스템 축소)을 조율하는 마스터 시스템을 지정합니다. Mahout은 해당 마스터 컴퓨터에 설치되어야합니다.

대량의 스트리밍 데이터 (Google 뉴스 기사)가 있고 클러스터링 알고리즘 중 하나를 사용하여 주제별로 클러스터를 만들고 싶다고 가정 해보십시오. Hadoop과 Mahout을 설치 한 후 데이터에 K- 평균과 같은 알고리즘 중 하나를 실행할 수 있습니다. Mahout 하에서 K-means의 구현은 K-means의 일반적인 구현과 다른 MapReduce 접근법을 사용합니다. Mahout은 K-means 알고리즘을 다음과 같은 하위 절차로 세분합니다.

KmeansMapper

• 는 입력 데이터 세트를 읽고 각 입력 포인트를 가장 가까운 초기 선택 수단 (클러스터 대표)에 할당합니다. KmeansCombiner

• 절차는 KmeansMapper가 생성 한 모든 레코드 쌍을 취해 후속 클러스터 대표자의 계산을 쉽게하기 위해 부분합을 생성합니다. KmeansReducer 는 K- 수단의 최종 출력 인 클러스터의 실제 중심을 계산하기 위해 모든 하위 작업 (결합 자)이 생성 한 값을받습니다.

• KmeansDriver
  는 모든 클러스터가 수렴 할 때까지 프로세스의 반복을 처리합니다. 주어진 반복의 출력, 부분 클러스터링 출력은 다음 반복의 입력으로 사용됩니다. 레코드와 클러스터를 할당 할 때까지 데이터 집합을 매핑 및 축소하는 프로세스가 더 이상 변경되지 않습니다.

• Apache Mahout은 최근 개발 된 프로젝트입니다. 그것의 기능에는 여전히 확장을 수용하기위한 많은 공간이 있습니다. 그 동안 Mahout은 이미 분류, 클러스터링 및 기타 기계 학습 기술을 구현하기 위해 MapReduce를 사용하며 대규모로 수행 할 수 있습니다.