큰 데이터와 MapReduce의 근원 - 더미

MapReduce는 큰 데이터에 점점 유용 해지고 있습니다. 2000 년대 초반에 Google의 일부 엔지니어는 미래를 조사하여 웹 크롤링, 쿼리 빈도 등의 현재 솔루션이 기존 요구 사항 대부분에 적합했지만 예상되는 복잡성에는 부적합하다고 판단했습니다. 웹은 점점 더 많은 사용자에게 확장되었습니다. 이 엔지니어들은 작업을 저렴한 컴퓨터를 통해 배포 한 다음 "클러스터"형태로 네트워크에 연결하면 문제를 해결할 수 있다고 결론지었습니다. 배포만으로는 충분하지 않습니다. 이 작업 배포는 다음 세 가지 이유로 병렬로 수행해야합니다.

처리가 자동으로 확장 및 축소 될 수 있어야합니다.

• 처리는 네트워크 또는 개별 시스템의 실패와 관계없이 계속 진행될 수 있어야합니다.

• 이 접근법을 이용하는 개발자는 다른 개발자가 쉽게 활용할 수있는 서비스를 만들 수 있어야합니다. 따라서이 접근법은 데이터와 계산이 실행 된 위치와 독립적이어야합니다.

• MapReduce는 일반적인 프로그래밍 모델로 설계되었습니다. 초기 구현 중 일부는 병렬 실행, 내결함성,로드 균형 조정 및 데이터 조작의 모든 핵심 요구 사항을 제공합니다. 프로젝트 담당 엔지니어는 기존 기능적 컴퓨터 언어의 두 가지 기능,

map 및 reduce 를 결합하여 이니셔티브 MapReduce를 명명했습니다.