데이터옵스 (DataOps)

Ⅰ. 새로운 데이터 접근 방식, 데이터옵스의 개요

가. 데이터 옵스의 개념

- 데이터를 분석해 애플리케이션을 형성한 후 최종 사용자에게 신뢰할 수 있는 데이터를 제공하기 위한 데이터 운영 관리 방식

 

나. 데이터 옵스의 등장배경

IT 부서 의존적	- 데이터 전담조직에서 IT부서 협조 없이 데이터 확보 및 가공이 어려움
권한 부족	- 업무의 문제를 찾거나 개선하기 위한 데이터 전담조직의 권한 부족
기술환경 부족	- 데이터 분석 결과를 업무에 적용하고 결과 분석 후 피드백하기 위한 기술 환경 부족

 

Ⅱ. 데이터옵스의 프레임워크 및 주요 요소

가. 데이터옵스의 프레임워크

 

나. 데이터옵스의 주요 요소

구분	주요 요소	설명
데이터 파이프라인 (Data Pipelines)	데이터 수집	- 데이터 소스, 데이터 아키텍처
	데이터 엔지니어링	- 데이터 셋, 데이터 엔지니어
	데이터 분석	- 리포트, 데이터 모델, 데이터 애널리틱스
데이터 기술 (Data Technologies)	데이터 캡처	- 빅데이터와 IoT 지원 위해 스트리밍 아키텍처 - Change Data Capture(CDC) 대표적인 기술
	데이터 통합	- 기존 DW 프로젝트에서 발전한 기술
	데이터 준비	- 데이터 카탈로그 - 데이터 레이크, 레파지토리
	데이터 분석	- 쿼리, 분석, 시각화 및 인사이트 공유 도구
데이터 프로세스 (Data Processes)	개발 및 배포	- 애자일 또는 데브옵스 방법론의 개발 및 배포 방식 활용
	오케스트레이션	- 코드, 데이터, 기술 및 인프라와 같은 데이터 개발 프로젝트 구성요소 모두 조정
	지속적 테스트	- 지속 테스트 및 모니터링 통해 목표 설정 및 결과 측정하여 품질 개선

 

Ⅲ. 데브옵스와 데이터옵스 비교

구분	데브옵스	데이터옵스
목적	- SW 개발 자동화 및 모니터링	- 데이터 파이프라인 자동화 및 모니터링
조합	- SW 개발, QA. 기술 운영	- 데이터 공학, 데이터 통합, 데이터 품질, 보안
협력	- SW 엔지니어(개발자) - 시스템 관리자(운영자)	- 데이터 엔지니어 - 데이터 분석가
기대효과	- 짧은 개발 주기 - 지속적인 배포 - 신뢰할 수 있는 릴리즈	- 스토리지 워크플로우 자동화 - 데이터 흐름 오케스트레이션 - 데이터 분석 최적화, 품질 확보