비디오: 트랙 1-5. 삼성전자의 AI 시스템에 GCP Stackdriver와 SRE 프랙티스 도입하기 (김령화, 임형진) 2024
이 그림은 데이터웨어 하우스에 포함시키기 위해 서로 다른 세 가지 데이터 소스에서 데이터를 추출하는 환경을 보여 주며 세 가지 소스는 서로 다른 플랫폼에 있습니다. 미들웨어 프로세스의 어느 시점에서 이러한 QA 추출은 결합 된 매핑 및 변환 프로세스를 위해 통합되어야합니다.
매핑 및 변환 서비스는 고전적인 데이터웨어 하우징 문제를 처리합니다. 하나의 데이터 소스가 5 자의 고객 ID를 사용하여 고객을 저장하고 다른 소스가 6 자리의 숫자 고객 ID를 사용한다고 가정하십시오.
비교 및 기타 데이터웨어 하우스 처리를 가능하게하려면 공통된 고객 식별 방법이 필요합니다. 식별 체계 중 하나는 환경의 특성에 따라 다른 시스템 또는 세 번째 중립 식별 시스템으로 변환되어야합니다.
데이터 요약이 포함될 수 있습니다.-
요약은 프로세스 전반, 시스템 간 이동 전에 특정 데이터웨어 하우징 환경의 특성. 데이터의 선택적 포함:
-
예를 들어, 다른 추출에서 비교 가능한 레코드를 얻는 경우와 같이 하나의 데이터 소스의 레코드 만 포함 할 수 있습니다. 모든 데이터 소스의 컨트 리뷰 션을 수렴 할 때까지 선택적 포함 규칙이 적용되는 방법을 알지 못합니다.
데이터 수렴: -
한 데이터 소스의 특정 요소를 다른 소스의 요소와 결합하여 각 고객, 제품, 계약서 또는 거래하는 모든 데이터 유형에 대해 하나의 통합 레코드를 생성합니다 와. 매핑 및 변환 서비스에 대해 기억해야 할 점은 결론적으로 몇 가지 단계를 완료하자마자 데이터웨어 하우스에로드 할 준비가 된 통합 데이터 집합이 있어야한다는 것입니다.
복잡한 데이터웨어 하우징 환경에서 여러 변환 프로세스를 고려할 수 있습니다. 이 그림에서 볼 수 있듯이, 예를 들어 미들웨어 파이프 라인을 더 멀리 아래로 이동하기 전에 여러 추출 단계에서 데이터 추출이 수렴되므로 흐름 초기에 여러 서버를 사용하여 변환 프로세스에 더 많은 마력을 적용 할 수 있습니다.