비디오: 미래 화장품산업 육성 방안 보건복지부 브리핑 2024
대용량 데이터 세계에서 데이터 품질에 대한 올바른 관점을 얻는 것은 매우 어려울 수 있습니다. 대용량 데이터 원본의 대부분은 깨끗하지 않은 데이터로 작업하고 있다고 가정해야합니다. 실제로 소셜 미디어 데이터 스트림에서 무작위로 연결되지 않은 데이터가 압도적으로 많아 비즈니스에 유용합니다.
데이터에서 패턴을 찾기 시작한 후에 찾을 수있는 것을 모른 채로 페타 바이트 단위의 데이터를 검색하는 것으로 시작합니다. 데이터에 많은 노이즈가 존재한다는 사실을 받아 들여야합니다. 검색 및 패턴 매칭을 통해서만 매우 더러운 데이터 가운데에서 진실의 불꽃을 발견 할 수 있습니다.
1 단계: 데이터 품질에 상관없이 큰 데이터의 패턴을 찾습니다.
2 단계:
패턴을 찾고 비즈니스에 중요한 결과를 설정 한 후에는 기존 데이터 소스에 적용하는 것과 동일한 데이터 품질 표준을 적용하십시오. 비즈니스에 중요하지 않은 큰 데이터를 수집하고 관리하는 것을 피하고 Hadoop 또는 기타 대형 데이터 플랫폼의 다른 데이터 요소를 손상시킬 수 있습니다. 귀사의 빅 데이터 분석 결과를 비즈니스 프로세스에 통합하기 시작할 때 회사가 건전한 비즈니스 의사 결정을 내리기 위해서는 고품질 데이터가 필수적이라는 사실을 인식하십시오. 이것은 전통적인 데이터뿐만 아니라 큰 데이터에서도 마찬가지입니다.
예를 들어, 하나의 데이터 저장소는 고객의 주소에 대해 두 줄을 사용하고 다른 데이터 저장소는 한 줄을 사용할 수 있습니다. 데이터가 표현되는 방식의 차이로 인해 한 고객이 두 명의 다른 고객으로 식별되는 것과 같이 고객에 대한 부정확 한 정보가 발생할 수 있습니다.
회사는 제품을 구입할 때 회사 명에 수십 가지 변형을 사용할 수 있습니다.데이터 품질 소프트웨어를 사용하여 서로 다른 데이터 저장소에서 회사 이름의 모든 변형을 식별하고이 고객이 귀하의 비즈니스에서 구매 한 모든 것을 알 수 있습니다.
이 프로세스는 고객 또는 제품에 대한 단일보기를 제공하는
라고합니다.
데이터 품질 소프트웨어는 여러 시스템에서 데이터를 일치시키고 중복 데이터를 정리하거나 제거합니다. 데이터 품질 프로세스는 사용, 해석 및 이해가 용이 한 정보를 비즈니스에 제공합니다. 데이터 프로파일 링 도구는 데이터 품질 프로세스에서 데이터의 내용, 구조 및 조건을 이해하는 데 도움이됩니다. 데이터베이스 또는 다른 데이터 저장소의 데이터 특성에 대한 정보를 수집하여 데이터를보다 신뢰할 수있는 형식으로 변환하는 프로세스를 시작합니다. 도구는 데이터를 분석하여 오류 및 불일치를 식별합니다. 그들은 이러한 문제를 조정하고 오류를 수정할 수 있습니다. 도구는 수용 가능한 값, 패턴 및 범위를 확인하고 중복되는 데이터를 식별하는 데 도움이됩니다. 예를 들어, 데이터 프로파일 링 프로세스는 데이터가 알파 또는 숫자인지 예상 여부를 확인합니다. 또한이 도구는 종속성을 확인하거나 데이터가 다른 데이터베이스의 데이터와 어떤 관련이 있는지 확인합니다.
큰 데이터 용 데이터 프로파일 링 도구는 기존 데이터 용 데이터 프로파일 링 도구와 비슷한 기능을합니다. Hadoop 용 데이터 프로파일 링 도구는 Hadoop 클러스터의 데이터에 대한 중요한 정보를 제공합니다. 이 도구는 일치를 찾고 중복을 제거하는 데 사용할 수 있습니다. 결과적으로 큰 데이터의 일관성을 보장 할 수 있습니다. HiveQL 및 Pig Latin과 같은 Hadoop 도구를 변환 프로세스에 사용할 수 있습니다.
