빅 데이터 아키텍처 관리 - 인형

귀사의 거대한 데이터 아키텍처는 귀사의 지원 인프라와 함께 수행해야합니다. 예를 들어, 온도, 염분, 퇴적물 재현 등의 실시간 데이터와 기타 생물학적, 화학적 및 물리적 속성의 호스트가있는 해양 지역의 석유를 드릴하는 것이 안전한지 여부를 결정하기 위해 모델을 실행하는 데 관심이있을 수 있습니다. 물줄기.

기존 서버 구성을 사용하여이 모델을 실행하는 데 며칠이 걸릴 수 있습니다. 그러나 분산 컴퓨팅 모델을 사용하면 몇 일이 걸릴 수 있습니다.

성능으로 인해 데이터베이스의 종류가 결정될 수도 있습니다. 예를 들어 어떤 상황에서는 매우 다른 두 개의 데이터 요소가 어떻게 관련되어 있는지 이해하고 싶을 수 있습니다. 소셜 네트워크에서 윙윙 거리는 소리와 판매 성장 사이의 관계는 무엇입니까? 이것은 구조화 된 관계형 데이터베이스에 대해 요청할 수있는 일반적인 쿼리가 아닙니다.

그래프 데이터베이스는 "노드"또는 엔티티를 "속성"또는 엔티티를 정의하는 정보와 노드 및 속성 간의 "에지"또는 관계를 분리하도록 특별히 설계되었으므로 더 나은 선택 일 수 있습니다. 올바른 데이터베이스를 사용하면 성능도 향상됩니다. 일반적으로 그래프 데이터베이스는 과학 및 기술 응용 프로그램에 사용됩니다.

다른 중요한 운영 데이터베이스 접근법은 정보를 행이 아닌 열에 효율적으로 저장하는 원주 형 데이터베이스를 포함합니다. 이 접근법은 입력 / 출력이 매우 빠르기 때문에 더 빠른 성능을 제공합니다. 지리 데이터 저장소가 방정식의 일부인 경우 공간 데이터베이스는 공간에서 개체가 관련되는 방식에 따라 데이터를 저장하고 쿼리하도록 최적화되어 있습니다.

대용량 데이터 서비스 및 도구 구성

조직에서 사용하는 모든 데이터가 작동하는 것은 아닙니다. 점점 더 많은 양의 데이터가 기계 또는 센서 및 대량의 공개 및 비공개 데이터 소스에서 비롯되는 데이터를 비롯하여 매우 체계적이지 않거나 직관적이지 않은 다양한 출처에서 비롯됩니다. 과거에는 대부분의 회사가이 방대한 양의 데이터를 캡처하거나 저장할 수 없었습니다. 그것은 단순히 너무 비싸거나 너무 압도적이었습니다.

기업이 데이터를 수집 할 수 있다고하더라도 데이터를 수집 할 수있는 도구가 없었습니다. 이 방대한 양의 데이터를 이해할 수있는 도구는 거의 없습니다. 존재했던 도구는 사용하기가 복잡했고 적절한 시간 내에 결과를 산출하지 못했습니다.

결국이 데이터를 분석하기 위해 많은 노력을 기울이고 자했던 사람들은 데이터의 스냅 샷 작업을해야했습니다.이는 특정 스냅 샷에 없기 때문에 중요한 이벤트를 누락시키는 바람직하지 않은 영향을 미칩니다.

큰 데이터를위한 MapReduce, Hadoop 및 Big Table

컴퓨팅 기술의 진화로 막대한 양의 데이터를 관리 할 수있게되었습니다. 시스템 가격이 하락하여 결과적으로 분산 컴퓨팅을위한 새로운 기술이 주류를 이루었습니다. 진정한 돌파구는 야후!, Google 및 Facebook은 그들이 만든 대량의 데이터로 수익을 창출하는 데 도움이 필요하다는 사실을 깨닫게되었습니다. 이 신흥 기업은 거대한 양의 데이터를 거의 실시간으로 저장, 액세스 및 분석 할 수있는 새로운 기술을 찾아야 네트워크의 참가자에 관한 많은 데이터를 소유함으로써 얻을 수있는 이점을 얻을 수있었습니다.

그 결과로 나온 솔루션은 데이터 관리 시장을 변화시키고 있습니다. 특히 혁신적인 MapReduce, Hadoop 및 Big Table은 차세대 데이터 관리를 이끌어 냈습니다. 이러한 기술은 가장 근본적인 문제 중 하나 인 대량의 데이터를 효율적이고 비용 효율적으로 적시에 처리 할 수있는 기능을 처리합니다.

MapReduce