빅 데이터 분석에 대한 다양한 접근 방식

비디오: Doing Data Science in Real World : 컨설팅 실무에서의 빅데이터 분석과 사례 2024

대다수의 경우 보고서 및 시각화를 통해 큰 데이터 분석이 최종 사용자에게 제공됩니다. 원시 데이터는 다양하게 변형 될 수 있으므로 분석 도구와 기법을 사용하여 의미있는 방식으로 데이터를 표시해야합니다.

새로운 응용 프로그램이 출시 될 예정이며 사용자 정의 또는 반 사용자 정의의 두 가지 범주로 크게 나뉩니다.

대용량 데이터 분석을위한 사용자 정의 응용 프로그램

일반적으로 사용자 정의 응용 프로그램은 특정 목적 또는 관련된 목적을 위해 작성됩니다. 대규모 데이터 분석의 경우 사용자 정의 응용 프로그램 개발의 목적은 의사 결정 또는 조치에 소요되는 시간을 단축하는 것입니다.

R 환경

"R"환경은 Bell Laboratories가 1990 년대에 개발 한 "S"통계 및 분석 언어를 기반으로합니다. 이것은 GNU 프로젝트에 의해 유지되며 GNU 라이센스 하에서 사용 가능합니다.

효과적인 데이터 처리 및 조작 구성 요소를 지원합니다.

배열 및 기타 유형의 정렬 된 데이터에 대한 계산을위한 연산자.

다양한 데이터 분석에 특화된 도구.
고급 시각화 기능. 조건, 루프, 사용자 정의 재귀 함수 및 광범위한 입출력 기능을 포함하여 많은 익숙한 구조를 가진 프로그래머를 위해 프로그래머가 설계 한
S 프로그래밍 언어입니다.
R은 대용량 데이터 소스 분석을위한 일회용 사용자 정의 응용 프로그램에 매우 적합합니다.
Google Prediction API

Google Prediction API는 대용량 데이터 분석 응용 프로그램 도구의 새로운 클래스의 예입니다. Google 개발자 웹 사이트에서 제공되며 문서화가 잘되어 있으며 다양한 프로그래밍 언어를 사용하여 액세스 할 수있는 몇 가지 메커니즘이 제공됩니다. 시작을 돕기 위해 6 개월 동안 무료로 사용할 수 있습니다.

예측 API는 매우 간단합니다. 패턴을 찾아 내고이를 프로 스케티브, 규범 적 패턴 또는 다른 기존 패턴과 일치시킵니다.패턴 매칭을 수행하는 동안 또한 "학습합니다. "사용할수록 더 똑똑해집니다.

예측은 언어를 지원하는 RESTful API로 구현됩니다. NET, 자바, PHP, 자바 스크립트, 파이썬, 루비, 그리고 많은 다른 사람. Google은 또한 API에 액세스 할 수있는 스크립트와 R 용 클라이언트 라이브러리도 제공합니다.

예측 분석은 빅 데이터의 가장 강력한 잠재적 기능 중 하나이며 Google Prediction API는 맞춤 애플리케이션을 만드는 데 매우 유용한 도구입니다.

대용량 데이터 분석을위한 세미 맞춤 애플리케이션

실제로 많은 사람들이 라이브러리와 같은 "패키지화 된"또는 타사 구성 요소를 사용하여 사용자 정의 응용 프로그램을 실제로 인식합니다. 새 응용 프로그램을 완전히 코딩 할 필요는 없습니다. 패키지 된 응용 프로그램이나 구성 요소를 사용하려면 개발자 나 분석가가 이러한 구성 요소를 작동하는 사용자 지정 응용 프로그램에 "함께 결합"하는 코드를 작성해야합니다. 다음은 올바른 접근 방식 인 이유입니다.

배포 속도:

응용 프로그램의 모든 부분을 작성할 필요가 없기 때문에 개발 시간을 크게 줄일 수 있습니다.

안정성: 잘 만들어진 신뢰할 수있는 타사 구성 요소를 사용하면 사용자 지정 응용 프로그램을보다 탄력적으로 만들 수 있습니다.
향상된 품질: 패키지 된 구성 요소는 다양한 환경과 도메인에 배포되기 때문에 종종 높은 품질 표준의 적용을받습니다.
유연성 향상: 보다 나은 구성 요소가 제공되면 응용 프로그램으로 교체되어 수명, 적응성 및 사용자 정의 응용 프로그램의 유용성을 확장 할 수 있습니다. 세미 맞춤 응용 프로그램의 또 다른 유형은 소스 코드를 사용할 수 있고 특정 목적으로 수정 된 응용 프로그램입니다. TA-Lib:
기술 분석 라이브러리는 다음과 같은 작업을 수행해야하는 소프트웨어 개발자가 광범위하게 사용합니다. 금융 시장 데이터의 기술적 분석을 수행합니다. BSD 라이센스에 따라 오픈 소스로 사용할 수 있으므로 반 사용자 정의 응용 프로그램에 통합 할 수 있습니다. JUNG:

Java Universal Network Graph 프레임 워크는 그래프 또는 네트워크로 표현할 수있는 데이터의 분석 및 시각화를위한 공통 프레임 워크를 제공하는 라이브러리입니다. 소셜 네트워크 분석, 중요도 측정 및 데이터 마이닝에 유용합니다. BSD 라이센스에 따라 오픈 소스로 사용할 수 있습니다.

GeoTools: GIS 데이터를 다양한 형태로 조작하고 공간 및 비 공간 속성 또는 GIS 데이터를 분석하고 데이터의 그래프 및 네트워크를 생성하기위한 오픈 소스 지리 공간 도구 키트입니다. GPL2 라이센스하에 제공되어 세미 맞춤형 애플리케이션으로 통합 할 수 있습니다.