미들웨어 서비스 : 데이터 품질 보증 - 더미

미들웨어 서비스의 흐름에 두 가지 품질 보증 (QA) 서비스를 설정해야합니다. 더 많은 미들웨어 서비스를 수행하기 전에 데이터 원본의 추출에 대해 첫 번째 QA 작업을 수행해야합니다.

데이터 품질 보증: 파트 I

가능한 한 프로세스 초기에 오류 및 문제점을 파악 (및 수정)하십시오. 문제가 너무 커서 나중에 프로세스를 수정하기 위해 더 많은 노력이 필요하거나 간단히 해결할 수없는 경우 데이터를 파이프 라인을 따라 데이터웨어 하우스로 이동하면 무의미합니다.

그렇다면 어떤 유형의 문제를 찾아야합니까? 다음은 몇 가지 예입니다.

합리적인 범위를 초과하는 데이터 요소의 값: 고객이 지난 달에 1 억 5 천만 건의 구매 주문서를 제출했거나 4, 297 년 동안 회사에서 근무한 직원 직원 데이터베이스와 저장된 채용 날짜에 따라
허용 가능한 값의 공식 및 전체 목록에 맞지 않는 데이터 요소의 값: 예를 들어 해당 필드의 허용 값이 M 및 F 인 경우 값에 A 코드가있을 수 있습니다 (If 그 필드는 GENDER, A는 양성 반응을 나타낼 것입니다!)
필드 간 불일치: 도시에 잘못된 주 또는 우편 번호가있는 레코드가 나타납니다.
누락 된 값: 내용이 있어야하는 특정 필드에 누락 된 값이있는 레코드.
. 불완전한 데이터:
회사에서 판매하는 모든 제품에 대한 정보가 사용 가능하다고 가정하면 예를 들어 추출물에 포함 된 모든 제품입니까?

비즈니스 규칙 위반: 하나의 도매 업체 만 회사의 고객 중 한 곳으로 제품을 판매 할 수 있다고 명시하는 비즈니스 규칙이있는 경우 고객 기록에 둘 이상의 도매 업체를 통한 판매가 표시되는지 확인해야합니다. 소스의 잘못된 데이터를 나타낼 수 있습니다.

마지막 추출 이후의 데이터 손상: 예를 들어, 매월 추출이 발생하면 고객의 월간 판매액과 같이 일정해야하는 데이터 값 또는 합계를 추적해야합니다.다음 달에 특정 월의 고객에 대한 월간 매출액의 값이 지난 달에 변경되면 기본 데이터가 손상되었을 수 있습니다.

철자 불일치: 예를 들어 고객의 이름은 여러 가지 철자가 있습니다.

문제를 발견했을 때 당신은 무엇을합니까? 다음 기술 중 하나를 시도 할 수 있습니다. 자동 수정 규칙 적용.

예를 들어 맞춤법이 일치하지 않으면 이전의 맞춤법 교정에 대한 마스터 테이블에서 조회를 수행하고 자동으로 데이터를 변경하십시오. 팀원이 나중에 분석하고 수정할 수 있도록 기록을 따로 보관합니다.

이 경우 자동 수정과 함께 QA의 인간 부분을 수행 할 수 있습니다.

예를 들어 가능한 경우 자동으로 수정되며 다른 문제에 대한 보고서는 별도의 파일에 저장되어 품질 보증 담당자에게 전송됩니다. 품질 보증 담당자가 수동으로 모든 수정 작업을 수행하면 자동 품질 보증 프로세스를 거친 데이터로 수정 사항을 다시 병합합니다. 제트기를 식히십시오.

심각한 문제가 있거나 발견되지 않은 연구가 필요한 문제를 발견하면 문제를 찾아 해결할 때까지 전체 프로세스를 중단하는 것이 좋습니다. 철저한 소스 시스템 분석을 수행하면 QA 프로세스가 훨씬 효율적이고 문제가되는 문제를 줄일 수 있습니다. 각 데이터 소스에서 발견 할 수있는 데이터 유형의 유형에 대해 상당히 좋은 아이디어가 있다면 계속하기 전에 QA 프로세스를 다시 프로그래밍하여 문제를 감지하고 (바라건대) 바로 잡을 수 있습니다.

역사적으로 조직에서는 데이터웨어 하우스 품질 보증 프로세스를 단방향 흐름으로 처리했습니다. 데이터가 미들웨어 프로세스의 흐름으로 더 이동되기 전에 문제가 해결되지만 데이터 소스에서 해결되지 않습니다. 대부분의 새로운 데이터웨어 하우스에는 원본 데이터의 데이터 품질 문제를 해결하는 QA 프로세스의 피드백 루프가 내장되어 있습니다.

데이터 품질 보증: 파트 II 변환 프로세스가 완료되면 데이터를 다시 품질 관리해야합니다. 변환 프로세스가 어떤 유형의 오류 또는 불일치를 데이터에 도입했는지 결코 알 수 없습니다. 변경이 발생한 후에는 이전 품질 관리 프로세스가 더 이상 유효하지 않습니다.

여기에 설명 된 것과 동일한 유형의 품질 보증 단계를 통해 통합 된 변환 데이터를 실행합니다. 첫 번째 수준의 품질 관리에서 철저한 작업을 수행 한 경우 철자 오류 (예: 맞춤법 오류나 값이 범위를 벗어남)가 많이 발견되지는 않지만 여전히 확신을 갖고 싶어합니다. 또한 데이터 변환에 사용 된 코드 또는 스크립트가 실수로 새 오류를 일으키지 않았는지 확인하십시오.

이 2 차 품질 보증의 목적은 통합 및 변환 된 데이터를 데이터웨어 하우스 - 필요한 경우 하나 이상의 단계가 발생하자마자.