비디오: [STATA 강의] 도구변수 추정법 -교육수익률 추정 2024
대용량 데이터 프레임 워크를보다 효율적으로 관리하고 분석 할 수 있도록 새로운 도구 세트가 계속 제공되고 있지만 필요한 것을 얻을 수 없을 수도 있습니다. 또한 다양한 기술로 가용성, 확장 성 및 고성능과 같은 큰 데이터 분석 및 요구 사항을 지원할 수 있습니다. 이들 중 일부는 대형 데이터 기기, 컬럼 형 데이터베이스, 메모리 내 데이터베이스, 비 관계형 데이터베이스 및 대용량 병렬 처리 엔진을 포함합니다.
그럼 비즈니스 사용자는 빅 데이터 분석을 할 때 무엇을 원하고 있습니까? 그 질문에 대한 답은 그들이 해결하려고하는 비즈니스 문제의 유형에 달려 있습니다. 큰 데이터 응용 프로그램 분석 프레임 워크를 선택할 때 고려해야 할 몇 가지 중요한 고려 사항은 다음과 같습니다.
-
여러 데이터 형식 지원: 많은 조직에서 모든 유형의 데이터를 큰 데이터 배포의 일부로 통합하거나 통합 할 것으로 예상하며, 구조화 된 데이터, 반 구조화 된 데이터 및 비정형 데이터가 포함됩니다.
-
행동 방향은 실시간 데이터 스트림에 대한 분석 결과이며 일괄 처리를 통해 의사 결정 방향을 적절하게 제공 할 수 있습니다. 일부 사용자는 다양한 형태의 분석을 포함하도록 진화하므로 두 가지 모두 필요합니다. 환경에 이미 존재하는 것을 활용하십시오.
-
올바른 컨텍스트를 얻으려면 큰 데이터 분석 프레임 워크에서 기존 데이터와 알고리즘을 활용하는 것이 중요 할 수 있습니다. 낮은 대기 시간 극복: 높은 데이터 속도를 처리하려면 속도와 성능 요구 사항을 지원할 수있는 프레임 워크가 필요합니다.
-
값싼 저장 공간 제공: 대용량 데이터는 처리하고 유지하려는 데이터의 양에 따라 잠재적으로 많은 저장 공간을 의미합니다.
-
클라우드 배포와 통합: 클라우드는 필요시 스토리지 및 컴퓨팅 용량을 제공 할 수 있습니다. 점점 더 많은 회사가 클라우드를 분석 "샌드 박스"로 사용하고 있습니다. "클라우드는 기존 시스템을 하이브리드 모델의 클라우드 배치와 통합하는 중요한 배치 모델이되고 있습니다. 이러한 모든 특성이 중요하지만 프레임 워크에서 응용 프로그램을 만드는 데있어 인식되고 실제적인 가치는 배포하는 데 더 빠릅니다.이러한 모든 기능을 염두에두고 Continuity라는 회사의 큰 데이터 분석 응용 프로그램 프레임 워크를 고려하십시오.
-
Continuity AppFabric은 대용량 데이터 응용 프로그램의 개발 및 배포를 지원하는 프레임 워크입니다. AppFabric 자체는 저급 대형 데이터 기술의 모호성을 추상화하기 위해 특별히 고안된 일련의 기술입니다. 응용 프로그램 빌더는 개발자가 로컬 및 친숙한 환경에서 빌드, 테스트 및 디버그 할 수있게 해주는 Eclipse 플러그인입니다. AppFabric 기능에는 다음이 포함됩니다.
-
실시간 분석 및 대응을위한 스트림 지원 큰 데이터 인프라에 쓸 필요가없는 통합 API
간단한 결과와 플러그 가능한 쿼리 프로세서 지원을위한 쿼리 인터페이스
쿼리 가능한 데이터 및 통합 API에서 액세스 할 수있는 테이블을 나타내는 데이터 세트
입력 또는 출력 형식 또는 기본 구성 요소 세부 사항과 독립적 인 데이터 읽기 및 쓰기
-
트랜잭션 기반 이벤트 처리
-
단일 노드로의 멀티 모드 배포 또는 클라우드
-
이러한 접근 방식은 큰 데이터 응용 프로그램 개발에 큰 관심을 끌 것입니다. 그 이유는 큰 데이터 환경을 만드는 데 필요한 많은 도구와 기술 때문입니다.
-
협업 부족은 여러면에서 비용이 많이 듭니다. 대규모 조직은 공동 작업을 유도하는 도구의 이점을 누릴 수 있습니다. 비슷한 일을하는 사람들은 서로의 노력으로 복제 작업을하게되는 경우가 종종 있습니다.
-
애플리케이션 프레임 워크의 또 다른 좋은 예는 OpenChorus입니다. 대용량 데이터 분석 응용 프로그램의 신속한 개발 외에도 공동 작업을 지원하고 도구 통합, 버전 제어 및 구성 관리와 같은 소프트웨어 개발자에게 중요한 기타 많은 기능을 제공합니다.
-
Open Chorus는 EMC Corporation에서 유지 관리하는 프로젝트이며 Apache 2. 0 라이센스로 제공됩니다. 또한 EMC는 상용 버전의 코러스를 제작 및 지원합니다. Open Chorus와 Chorus는 활발한 파트너 네트워크와 많은 개인 및 기업 기부자를 보유하고 있습니다.
-
오픈 코러스는 일반적인 프레임 워크입니다. 주요 기능은 큰 데이터 소스, 통찰력, 분석 기술 및 시각화를 공유하기위한 공동 "허브"를 만드는 기능입니다. Open Chorus는 다음을 제공합니다.
완벽한 버전 관리, 변경 추적 및 보관 기능을 갖춘 분석 도구, 산출물 및 기법의 저장소
자체 제공되고 커뮤니티 회원이 손쉽게 관리 할 수있는 작업 공간 및 샌드 박스
Hadoop, 메타 데이터, SQL 리포지토리 및 주석을 포함한 모든 데이터 자산의 통합 검색
검색, 공유 및 브레인 스토밍을 장려하는 소셜 네트워킹과 같은 기능을 통한 공동 작업
타사 구성 요소와 기술의 통합을위한 확장 성