CDC (Change Data Capture)

1. 실시간 변경 추적, CDC의 정의

- 데이터베이스에서 발생하는 변경 사항을 실시간 감지하고 이를 데이터 웨어하우스, 로그 분석 플랫폼에 전송하는 기술

필요성) 실시간 데이터 처리, ETL 효율 향상, 이벤트 기반 처리. 실시간 변경 추적, CDC의 정의

 

2. CDC 구성도 및 방식

가. CDC 구성도

구성 요소	설명	활용
변경 감지기	데이터베이스 변경 감지	트리거, 로그, 타임스탬프 기반
데이터 파이프라인	CDC 데이터를 스트리밍 처리	Kafka, Flink, Debezium
타겟 시스템	데이터 웨어하우스	실시간 분석, NoSQL

 

나. CDC 방식

방식	설명	특징
쿼리 기반	변경 전/후 비교	구현 쉽고 부하 높음
트리거 기반	트랜잭션 트리거 설정	정밀하지만 성능 저하
로그 기반	트랜잭션 로그 분석	복잡하지만 고성능
타임스탬프 기반	시간 기준 변경 추출	간편하고 낮은 정확도

 

 

3. CDC 도입시 유의사항 및 해결방법

유의사항	설명	해결방법
성능 부하 증가	트리거나 로그 파싱으로 DB 부하	로그 기반 CDC, CDC 전용 서버
데이터 보안 문제	개인정보/민감정보 외부 유출	데이터 마스킹, 접근 제어, 암호화
데이터 정합성	전송 실패 시 데이터 누락	전송 이력 로그, 재전송 기능