빅 데이터에서 전통적인 ETL의 역할

ETL 도구는 하나의 빅 데이터 환경에서 데이터를 가져 오는 데 필요한 세 가지 중요한 기능 (추출, 변환,로드) 그것을 다른 데이터 환경에 저장하십시오. 전통적으로 ETL은 데이터웨어 하우스 환경에서 일괄 처리와 함께 사용되었습니다. 데이터웨어 하우스는 비즈니스 사용자가 정보를 통합하여 비즈니스 중심의 데이터를 분석하고보고 할 수있는 방법을 제공합니다. ETL 도구는 데이터를 데이터웨어 하우스에 필요한 형식으로 변환하는 데 사용됩니다.

실제로 데이터가 데이터웨어 하우스에로드되기 전에 변환이 중간 위치에서 수행됩니다. IBM, Informatica, Pervasive, Talend 및 Pentaho를 포함한 많은 소프트웨어 공급 업체가 ETL 소프트웨어 도구를 제공합니다. 는

추출:

• 원본 데이터베이스에서 데이터를 읽습니다. ->

  변환:

• 추출한 데이터의 형식을 대상 데이터베이스의 요구 사항을 준수하도록 변환합니다. 변환은 규칙을 사용하거나 다른 데이터와 데이터를 병합하여 수행됩니다. 로드:

• 대상 데이터베이스에 데이터를 씁니다. 그러나 ETL은 기존 데이터웨어 하우스보다 훨씬 많은 통합을 지원하기 위해 발전하고 있습니다. ETL은 트랜잭션 시스템, 운영 데이터 저장소, BI 플랫폼, MDM 허브, 클라우드 및 Hadoop 플랫폼 전반의 통합을 지원할 수 있습니다. ETL 소프트웨어 공급 업체는 Hadoop과 기존 데이터 관리 플랫폼간에 데이터 추출, 변환 및 로딩을 제공하기 위해 솔루션을 확장하고 있습니다.

ETL 도구는 구조화 및 비정형 데이터를 Hadoop으로로드 및 변환하는 데 필요합니다. 고급 ETL 도구는 여러 파일을 Hadoop에서 또는 Hadoop으로 병렬로 읽고 쓸 수 있으므로 데이터가 일반적인 변환 프로세스로 병합되는 방식을 단순화합니다. 일부 솔루션은 Hadoop 또는 기존 그리드 인프라에서 실행되는 트랜잭션 및 상호 작용 데이터 모두에 대해 사전 구축 된 ETL 변환 라이브러리를 통합합니다.

데이터 변환은 여러 응용 프로그램에서 사용할 수 있도록 데이터 형식을 변경하는 프로세스입니다.이는 데이터가 저장된 형식에서 데이터를 사용할 응용 프로그램에 필요한 형식으로 변경 될 수 있음을 의미합니다. 이 프로세스에는

매핑

명령어가 포함되어있어 애플리케이션에서 처리해야하는 데이터를 얻는 방법을 알려줍니다. 비정형 데이터의 양이 엄청나게 증가했기 때문에 데이터 변환 프로세스가 훨씬 복잡해졌습니다. 고객 관계 관리와 같은 비즈니스 응용 프로그램에는 데이터를 저장하는 방법에 대한 특정 요구 사항이 있습니다. 관계형 데이터베이스의 정리 된 행과 열에는 데이터가 구조화

될 가능성이 있습니다. 엄격한 형식 요구 사항을 따르지 않으면 데이터가 세미 구조화 된 또는 구조화되지 않은 입니다. 전자 메일 메시지에 포함 된 정보는 예를 들어 구조화되지 않은 것으로 간주됩니다. 회사의 가장 중요한 정보 중 일부는 문서, 전자 메일 메시지, 복잡한 메시징 형식, 고객 지원 상호 작용, 트랜잭션 및 ERP 및 CRM과 같은 패키지 된 응용 프로그램에서 가져 오는 정보와 같이 구조화되지 않은 반 구조화 된 양식에 있습니다. 데이터 변환 도구는 구조화되지 않은 데이터와 잘 작동하도록 설계되지 않았습니다. 결과적으로 비 구조적 정보를 비즈니스 프로세스 의사 결정에 통합해야하는 기업은 필요한 데이터 통합을 달성하기 위해 상당한 양의 수동 코딩에 직면 해 왔습니다.

의사 결정에 비정형 데이터의 중요성과 중요성이 커짐에 따라 주요 공급 업체의 ETL 솔루션은 구조화되지 않은 데이터를 표준화 된 방식으로 제공하기 시작하여 운영 구조화 된 데이터와보다 쉽게 ​​통합 될 수 있습니다.