개인 재정 빅 데이터 품질 우선 순위 지정 방법

빅 데이터 품질 우선 순위 지정 방법

비디오: 미래 화장품산업 육성 방안 보건복지부 브리핑 2024

비디오: 미래 화장품산업 육성 방안 보건복지부 브리핑 2024
Anonim

대용량 데이터 세계에서 데이터 품질에 대한 올바른 관점을 얻는 것은 매우 어려울 수 있습니다. 대용량 데이터 원본의 대부분은 깨끗하지 않은 데이터로 작업하고 있다고 가정해야합니다. 실제로 소셜 미디어 데이터 스트림에서 무작위로 연결되지 않은 데이터가 압도적으로 많아 비즈니스에 유용합니다.

데이터에서 패턴을 찾기 시작한 후에 찾을 수있는 것을 모른 채로 페타 바이트 단위의 데이터를 검색하는 것으로 시작합니다. 데이터에 많은 노이즈가 존재한다는 사실을 받아 들여야합니다. 검색 및 패턴 매칭을 통해서만 매우 더러운 데이터 가운데에서 진실의 불꽃을 발견 할 수 있습니다.

1 단계

: 데이터 품질에 상관없이 큰 데이터의 패턴을 찾습니다.

2 단계:

패턴을 찾고 비즈니스에 중요한 결과를 설정 한 후에는 기존 데이터 소스에 적용하는 것과 동일한 데이터 품질 표준을 적용하십시오. 비즈니스에 중요하지 않은 큰 데이터를 수집하고 관리하는 것을 피하고 Hadoop 또는 기타 대형 데이터 플랫폼의 다른 데이터 요소를 손상시킬 수 있습니다. 귀사의 빅 데이터 분석 결과를 비즈니스 프로세스에 통합하기 시작할 때 회사가 건전한 비즈니스 의사 결정을 내리기 위해서는 고품질 데이터가 필수적이라는 사실을 인식하십시오. 이것은 전통적인 데이터뿐만 아니라 큰 데이터에서도 마찬가지입니다.

예를 들어, 하나의 데이터 저장소는 고객의 주소에 대해 두 줄을 사용하고 다른 데이터 저장소는 한 줄을 사용할 수 있습니다. 데이터가 표현되는 방식의 차이로 인해 한 고객이 두 명의 다른 고객으로 식별되는 것과 같이 고객에 대한 부정확 한 정보가 발생할 수 있습니다.

회사는 제품을 구입할 때 회사 명에 수십 가지 변형을 사용할 수 있습니다.데이터 품질 소프트웨어를 사용하여 서로 다른 데이터 저장소에서 회사 이름의 모든 변형을 식별하고이 고객이 귀하의 비즈니스에서 구매 한 모든 것을 알 수 있습니다.

이 프로세스는 고객 또는 제품에 대한 단일보기를 제공하는

라고합니다.

데이터 품질 소프트웨어는 여러 시스템에서 데이터를 일치시키고 중복 데이터를 정리하거나 제거합니다. 데이터 품질 프로세스는 사용, 해석 및 이해가 용이 한 정보를 비즈니스에 제공합니다. 데이터 프로파일 링 도구는 데이터 품질 프로세스에서 데이터의 내용, 구조 및 조건을 이해하는 데 도움이됩니다. 데이터베이스 또는 다른 데이터 저장소의 데이터 특성에 대한 정보를 수집하여 데이터를보다 신뢰할 수있는 형식으로 변환하는 프로세스를 시작합니다. 도구는 데이터를 분석하여 오류 및 불일치를 식별합니다. 그들은 이러한 문제를 조정하고 오류를 수정할 수 있습니다. 도구는 수용 가능한 값, 패턴 및 범위를 확인하고 중복되는 데이터를 식별하는 데 도움이됩니다. 예를 들어, 데이터 프로파일 링 프로세스는 데이터가 알파 또는 숫자인지 예상 여부를 확인합니다. 또한이 도구는 종속성을 확인하거나 데이터가 다른 데이터베이스의 데이터와 어떤 관련이 있는지 확인합니다.

큰 데이터 용 데이터 프로파일 링 도구는 기존 데이터 용 데이터 프로파일 링 도구와 비슷한 기능을합니다. Hadoop 용 데이터 프로파일 링 도구는 Hadoop 클러스터의 데이터에 대한 중요한 정보를 제공합니다. 이 도구는 일치를 찾고 중복을 제거하는 데 사용할 수 있습니다. 결과적으로 큰 데이터의 일관성을 보장 할 수 있습니다. HiveQL 및 Pig Latin과 같은 Hadoop 도구를 변환 프로세스에 사용할 수 있습니다.

빅 데이터 품질 우선 순위 지정 방법

편집자의 선택

JavaScript에서 HTML 양식 요소에 액세스하는 방법 - 다른 HTML 요소와 마찬가지로

JavaScript에서 HTML 양식 요소에 액세스하는 방법 - 다른 HTML 요소와 마찬가지로

자바 스크립트에서 HTML5 요소와 직접 상호 작용할 수 있습니다. 트릭은 선택한 요소가 지원해야하는 브라우저 및 플랫폼에서 작동하는지 확인하는 것입니다. 이 예제에서는 및 태그를 다음과 같은 솔루션의 일부로 사용하는 방법을 보여줍니다.

CSS 값 정의에 대한 빠른 가이드 구문 - 인형

CSS 값 정의에 대한 빠른 가이드 구문 - 인형

W3C (World Wide Web Consortium)에서 모든 CSS 속성의 구문과 가능한 값을 정의합니다. 정의를 가능한 한 정확하게 만들기 위해 W3C는 CSS 값 정의 구문이라는 공식 시스템을 사용합니다. 정의 구문은 가능한 값을 매우 정확하게 정의하지만 CSS 값 정의 구문을 읽는 중 ...

JavaScript로 동적 HTML 요소를 작성하는 방법 - 더미

JavaScript로 동적 HTML 요소를 작성하는 방법 - 더미

모든 페이지에 대한 특수 효과는 페이지에 동적 HTML 변경 기능을 제공하는 것입니다. 예를 들어 다음 예제와 같이 선택한 요소에 특수 효과를 만들 수 있습니다. function ChangeStyles (event) {// 요소에 대한 참조를 얻습니다. var ThisElement ...

편집자의 선택

Excel 2013 통합 문서의 변경 내용 수락 또는 거부 방법 - 변경 내용 추적을 설정하면 더미

Excel 2013 통합 문서의 변경 내용 수락 또는 거부 방법 - 변경 내용 추적을 설정하면 더미

Excel 2013 통합 문서의 경우 리본의 검토 탭에있는 변경 내용 추적 명령 단추의 드롭 다운 메뉴에서 Alt / RGC를 눌러 변경 내용 적용 / 거부 옵션을 선택하여 수락 또는 거부 할 변경 내용을 결정할 수 있습니다. 이렇게하면 Excel이 강조 표시된 모든 변경 내용을 검토합니다 ...

Excel에서 셀에 설명을 추가하는 방법 2016 - 문자

Excel에서 셀에 설명을 추가하는 방법 2016 - 문자

Excel 2016 워크 시트의 특정 셀에 주석을 달 수 있습니다. 댓글은 스티커 메모의 전자 팝업 버전과 유사합니다. 셀에 주석을 추가하려면 다음과 같이하십시오. 셀 포인터를 이동하거나 주석을 추가 할 셀을 클릭하십시오. 새 주석을 클릭하십시오.

Excel 피벗 테이블에 계산 된 필드를 추가하는 방법 - 더미

Excel 피벗 테이블에 계산 된 필드를 추가하는 방법 - 더미

피벗 테이블 내부의 값을 계산합니다. 계산 된 필드 및 항목을 표에 추가 할 수 있습니다. 계산 된 필드를 추가하면 새로운 행이나 열을 피벗 테이블에 삽입 한 다음 수식을 사용하여 새 행이나 열을 채울 수 있습니다. 예를 들어 다음과 같이 나타납니다.

편집자의 선택

포토샵 CS6에서 히스토리 기능으로 채우기를 사용하는 방법 - 더미

포토샵 CS6에서 히스토리 기능으로 채우기를 사용하는 방법 - 더미

채우기 Adobe Photoshop의 기능 Creative Suite 6는 선택을 원할 때 유용합니다. 특정 상태로 바꿀 영역을 쉽게 선택할 수 있으면 기록으로 채우기 기능을 사용할 수 있습니다. 특정 이미지에서 하늘이 마음에 들지 않는다고 가정 해보십시오. 선택한 항목 ...

Photoshop CS6에서 패싯 필터를 사용하는 방법 -

Photoshop CS6에서 패싯 필터를 사용하는 방법 -

Photoshop CS6의 이미지는 먼지와 스크래치를 줄이거 나 날카로운 모서리를 부드럽게하는 것입니다. 패싯 필터는 포스터 라이징 효과를 사용하여 이미지를 분할합니다. Photoshop CS6에서 이미지를 흐리게 처리하려는 한 가지 이유는 먼지 및 스크래치를 줄이거 나 밝기를 비슷하게하는 픽셀 블록을 모아서 기하학적 모양을 사용하여 단일 값으로 변환하기 때문입니다.

Photoshop CS6에서 손 도구 사용 방법 - 인형

Photoshop CS6에서 손 도구 사용 방법 - 인형

Photoshop CS6 손 도구는 이미지 문서에서 빠르게 이동하고 스크롤 막대와 유사하게 작업하여 작업을보다 신속하게 수행 할 수 있습니다. 손 도구는 손 도구를 클릭 할 필요가 거의 없기 때문에 실제 도구보다 기능이 더 많습니다. 간단히 ...