비디오: 트랙 1-5. 삼성전자의 AI 시스템에 GCP Stackdriver와 SRE 프랙티스 도입하기 (김령화, 임형진) 2024
대부분의 상황에서 선택 및 추출 및 품질 보증과 같은 두 가지 미들웨어 서비스가 데이터 소스가 상주하는 동일한 플랫폼 (시스템)에서 수행됩니다. 데이터웨어 하우스가 데이터 소스와 다른 플 '폼에서 호스트되는 경우, 데이터 이동 서비스를 사용하여 시스템 간 시스템 전송을 수행해야합니다.
비교적 간단한 서비스를 사용할 수 있습니다 (예: 간단한 파일 전송 프로그램에서 처리). 이동 서비스는이 시점에서 필요하다면 QA'd 데이터를 추가 변환을 계획하는 환경으로 이동하기 만하면됩니다.
프로덕션 데이터웨어 하우스를 실행하는 플랫폼과 다른 플랫폼에서 변환 및 QA 처리를 수행하는 경우 (예: 운영 서버가 아닌 개발 서버에서)), 데이터를 한 번 더 실행하여 데이터를 원하는 장소로 가져와야합니다. 이 프로세스는 일반적으로 상대적으로 단순한 파일 전송 만 포함합니다.
데이터 로딩 서비스는 추출 된 QA'd, 변형 된 QA'd 데이터를웨어 하우스에로드합니다. 사용자 정의 된 프로그램, SQL (예: INSERT 문) 또는 유틸리티를 통해 데이터를로드 할 수 있습니다.
많은 양의 데이터를로드해야하는 경우 빠른로드 유틸리티를 사용하십시오. 일반적으로 프로그래밍 방식이나 SQL 기반 방식보다 훨씬 적은 시간이 소요됩니다.
SQL을 사용하여 데이터를 관계형 데이터베이스로로드하는 경우, 로깅을 해제하여 가능한 효율적으로 로딩을 시도하십시오 (DBMS 제품이 허용하는 경우). 로딩 작업이 비정상적으로 종료되면 DROP 또는 TRUNCATE 문을 사용하여 부분적으로로드 된 테이블을 제거하고 종료를 야기한 문제를 수정 한 다음 작업을 다시 시작하면됩니다.
OLTP 스타일의 데이터 및 트랜잭션 무결성 (오버 헤드 포함)에 필요한 기능을 켜는 경우보다 일반적으로이 프로세스가 훨씬 빠릅니다.
