반응형
1. 데이터 자산의 설명서 제공, 데이터 카탈로그의 정의
- 조직 내 다양한 데이터를 이해하고 탐색할 수 있도록 메타데이터를 중앙에서 수집, 정리, 관리, 검색 가능하게 만든 정보 저장소
필요성) 데이터 활용 증가, 거버넌스, 분석 생산성 향상
2. 데이터 카탈로그 구성도 및 주요 기능
가. 데이터 카탈로그 구성도
나. 데이터 카탈로그 주요 기능
| 구성 요소 | 주요 기능 | 설명 |
| 메타데이터 저장소 | - 메타 크롤러 - 리니지 크롤러 - 샘플 크롤러 |
데이터 메타 정보, 히스토리 정보, 샘플 데이터 수집 |
| 데이터 계보 | - 데이터 흐름 시각화 | 테이블 및 스키마 변경 이력 관리 |
| 데이터 분류 및 태깅 | - 자동 분류 및 사용자 태그 | 데이터 특성 식별, 접근 제어 제공 |
| API 및 연동 | - 외부 시스템과 통합 | 외부 BI/ETL(extract, transform, load) 도구 연동 |
3. 데이터 카탈로그 문제점 및 해결 방안
| - 초기 메타 데이터 수집 비용 - 사용자 교육/활용 - 시스템 호환 및 표준화 |
- 메타데이터 자동 수집 툴 - 사용자 중심 UX/UI 제공 - AI 기반 연계, 편의 향상 |
- AWS Data Catalog - Azure Purview - Google Data Catalog |
| 문제점 | 해결 방안 | 대표 솔루션 |
반응형
'IT 기술 > DB' 카테고리의 다른 글
| 데이터 옵스(DataOps) (0) | 2025.04.09 |
|---|---|
| 정규화와 역정규화 (0) | 2025.04.09 |
| RBO(Rule Based Optimizer)와 CBO(Cost Based Optimizer) 비교 (0) | 2025.04.09 |
| NoSQL 유형과 모델링 절차 (0) | 2025.04.09 |
| DQ 인증(데이터 품질 인증) (0) | 2025.04.09 |