Google Dremel과 Hadoop - Dummies

대부분의 사람들에게 Dremel 이라는 용어는 집 주변의 다양한 작업에 적합한 고속, 저 토크 도구를 염두에 둡니다. 그러나 Google이 Dremel을 만들었다는 것을 알고 계셨습니까? 하지만 핸드 헬드 기계 도구를 제작하기보다는 Google은 대용량 데이터의 대화 형 분석을위한 빠른 소프트웨어 도구를 선택했습니다. MapReduce, Google 파일 시스템 (HDFS) 및 BigTable (HBase 참조)과 같은 Hadoop 생태계의 일부분에 영감을 준 다른 Google 기술과 마찬가지로 Google은 내부적으로 사용하기 위해 Dremel을 개발 한 다음 목적과 디자인을 설명하는 문서를 게시했습니다 기술의 (즉, Dremel은 Hadoop 클러스터에서 다운로드하여 사용할 수있는 것이 아닙니다.)

Google은 웹 크롤링 된 문서 분석, 전자 메일 스팸 감지, 응용 프로그램 충돌 보고서 작업 등을 비롯한 다양한 작업에 Dremel을 사용합니다. Google의 BigQuery 서비스는 실제로 Dremel을 사용합니다.

Google은 방대한 양의 데이터를 일괄 처리 할 수있는 MapReduce 기술을 설계했습니다. 그들의 요구가 발전하면서 기술도 발전하면서 Google은 대용량 데이터 세트에 대한 대화 형 쿼리의 성능을 개선하기 위해 Dremel을 개발하기로 결정했습니다.

Google은 Google 파일 시스템 (GFS) 상단의 중간 서버에서 실행되는 대화식 쿼리 용으로 설계된 쿼리 실행 기술을 개발했습니다. (GFS는 Hadoop의 파일 시스템 인 Apache HDFS의 영감이었습니다.)

Google은 내부적으로 사용하는 Dremel 기술을 보유하고 있지만 Dremel ("Drakkar Noir"에서 영감을 얻은 모든 향수와 같은 종류)에서 영감을 얻은 모든 기술이 있습니다.