빅 데이터는 단순한 현대 유행이 아닙니다 - 인형

과학자들은 누구도 라는 용어를 만들기 전에 수년간 인상적인 양의 데이터에 맞서 싸우기 시작했습니다. 빅 데이터. 현재 인터넷은 오늘날 이루어진 데이터에 대한 방대한 양의 정보를 산출하지 못했습니다. 빅 데이터는 단순히 소프트웨어 및 하드웨어 공급 업체가 만든 일시적 유행이 아니라 다음과 같은 분야의 기반이 있음을 기억하십시오.

• 천문학: 우주선에서받은 데이터를 보이저 (Voyager) 또는 갈릴레오 (Galileo))와 천문학 자의 전파를 수신하는 데 사용되는 특수 안테나 인 라디오 망원경으로부터 수신 된 모든 데이터. 일반적인 예는 공간에서 도착한 라디오 주파수를 관찰하여 외계 신호를 찾는 SETI (외계 지적 정보 검색) 프로젝트입니다. 1 시간 동안 하늘 일부분을 분석하는 데 사용 된 데이터 및 컴퓨터 출력은 인상적입니다. 외계인이 밖에 있다면, 그들을 찾아내는 것은 매우 어렵습니다. (Contact 는 인간이 실제로 신호를 가로 챌 때 일어날 수있는 일을 탐구합니다.)
• 기상학: 많은 조치가 필요하다면 가까운 시일 내에 날씨를 예측하려고 생각합니다. 온도, 대기압, 습도, 바람 및 강수량을 다른 시간, 위치 및 고도에서 측정합니다. 일기 예보는 실제로 빅 데이터와 관련성이 높은 문제의 첫 번째 문제 중 하나입니다. 기후 데이터를 제공하는 Weather Analytics는 전 세계 국내 총생산 (GDP)의 33 % 이상이 기후 조건이 농업, 어업, 관광 및 교통에 미치는 영향에 따라 결정됩니다. 1950 년대로 거슬러 올라가면, 최초의 수퍼 컴퓨터는 기상에서 데이터가 많을수록 가능한 한 많은 데이터를 처리하는 데 사용되었습니다. 기상 예보 및 기후 변화 연구를위한 기상 협회에 관한이 기사에서 읽을 수 있듯이 모든 사람들이 더 많은 저장 및 처리 능력을 축적하고있는 이유입니다. 물리학:
• 물질, 공간 및 시간의 구조를 결정하기 위해 입자 가속기를 사용하는 실험에 의해 생성 된 많은 양의 데이터를 고려하십시오. 예를 들어, 대형 충돌 가속기 인 대형 Hadron Collider는 입자 충돌의 결과로 매년 15PB (페타 바이트)의 데이터를 생성합니다. Genomics:
• 분자의 구조를 구성하는 4 개의 염기 (아데닌, 구아닌, 시토신 및 티민)의 많은 조합의 정확한 순서를 결정하는 단일 DNA 가닥을 시퀀싱하는 것은 상당히 많은 것을 요구한다 데이터의.예를 들어, 단일 염색체, 세포에 DNA가 들어있는 구조는 50MB에서 300MB가 필요할 수 있습니다. 인간은 46 개의 염색체를 가지고 있으며 단 한 사람의 DNA 데이터는 전체 DVD를 소비합니다. 많은 사람들의 DNA 데이터를 문서화하거나 지구상의 다른 생명체를 배열하는 데 필요한 거대한 저장 장치를 상상해보십시오. 해양학:
• 해양, 온도 및 조류를 측정하기 위해 해양에 설치된 센서가 많기 때문에 과학적 목적의 음향 모니터링 (물고기, 고래 및 플랑크톤에 대한 발견) 및 군사 방어 목적의 소리 (다른 나라의 비참한 잠수함을 찾는 것). 좀 더 복잡하고 디지털로 변하는이 오래된 감시 문제를 살짝 들여다 볼 수 있습니다. 위성:
• 지구의 표면과 대기를 모니터링하기 위해 전 세계에서 이미지를 녹화하고 지구로 전송하는 것은 새로운 사업이 아닙니다 (TIROS 1, 이미지와 데이터를 다시 보내는 첫 번째 위성, 1960 년으로 거슬러 올라간다). 그러나 수년에 걸쳐, 지구 관측을 제공하는 1,400 개 이상의 활성 인공위성이 세계에 출시되었습니다. 지구에 도착하는 데이터의 양은 놀라 울 정도로 경제 발전 추세 추적, 농업 모니터링, 변화 및 위험 모니터링과 같은 군대 (감시) 및 민간 목적으로 사용됩니다. 단일 유럽 우주국의 인공위성 인 Sentinel 1A는 2 년 동안 5PB의 데이터를 생성합니다. ->

이러한 오래된 데이터 추세에 따라 인터넷에서 새로운 양의 데이터가 생성되거나 전달되어 새로운 문제가 발생하고 처리를 위해 데이터 저장 및 알고리즘 측면에서 솔루션이 필요합니다.

As 국가 안전 보위부 (NSA)에보고 된 바에 따르면 전 세계에서 매일 인터넷을 통해 흐르는 정보의 양은 2013 년에 1,826PB이었고 그 중 1.6 %는 전자 메일과 전화로 구성되었습니다. NSA는 국가 안보를 보장하기 위해 모든 전자 메일과 전화 (테러 음모와 같은 신호를 낼 수있는 핵심 단어를 찾음)의 적어도 0.225 %의 내용을 확인해야합니다. 그것은 여전히 ​​연간 25PB에 이릅니다. 이는 매년 저장되고 분석되는 데이터가 37,500 개에 달하는 CD-ROM입니다 (그리고 계속 증가하고 있습니다). 전체 내용을 읽을 수 있습니다.

인터넷 사물 (IoT)이 현실화되고 있습니다. 지난 15 년 동안 여러 번이 용어를들은 적이 있을지 모르지만 이제는 인터넷에 연결된 물건의 성장이 폭발 할 것입니다. 아이디어는 모든 것에 센서와 송신기를 배치하고 데이터를 사용하여 전 세계에서 일어나는 일을보다 잘 제어하고 더 똑똑해진 물체를 만드는 것입니다. 전송 장치는 더 저렴하고 저렴하며 전력 소모가 적습니다. 일부는 이미 너무 작아서 어디 에나 둘 수 있습니다. 전문가들은 스탠포드 엔지니어가 개발 한 개미 크기의 라디오를 살펴 봅니다. 전문가들은 2020 년까지 지구상에 사람이있을 때보 다 6 배나 많은 연결 대상이있을 것으로 예상하지만 많은 연구 회사와 싱크 탱크가 이미 해당 수치를 다시 방문하고 있습니다.