Goooooood

1. DB 일관성 및 무결성 보장, 트랜잭션 회복의 개요가. 데이터베이스 회복기법의 정의정의- 데이터베이스 운영도중 장애가 발생한 경우, 장애 발생 이전의 일관된 상태로 복원시키는 것 나. 데이터베이스 회복기법의 주요 요소구분주요 요소설명회복 준비로그(Log)트랜잭션 변경 이력 저장 파일회복 수행체크포인트특정 시점까지 변경내용 기록REDO회복된 DB 상태로 복원UNDO원래의 DB 상태로 복원회복 정책일관성 보장트랜잭션 Commit 또는 Rollback- DB 회복은 IT 컴플라이언스와 비즈니스 연속성을 위한 필수 요소  2. REDO와 UNDO 이용 회복방법가. REDO 이용 방법개념- 장애 발생 시 진행된 트랜잭션에 대해 로그 기록 이용하여 재반영하여 복원하는 기법개념도상세동작1) 트랜잭션 시작 시 해..

1. 검색 연산 최적화를 위한, 인덱스의 개요개념도개념- 데이터 검색 시 테이블 전체 검색하지 않고, 정렬된 키 값에 접근하여 빠른 탐색을 수행하는 자료구조특징(PATI)성능 향상(Performance Improvement)트랜잭션의 조회 성능 향상 목적알고리즘(Algorithm)Tree 구조, Hash 함수 적용트레이드 오프(Trade-Off)조회와 입력, 수정, 삭제 간 성능 균형 고려독립성(Isolation)테이블에 저장구조와 별도로 인덱스만 저장 2. 인덱스 스캔 방식스캔 방식개념도설명Index Unique Scan- PK 또는 Unique 제약조건이 보장된 컬럼에서 1건 검색- 가장 빠른 장식Index Range Scan- 조건 범위에 해당하는 인덱스 값들 검색- Between, >, Index..

1. 빅데이터 시각화의 개념 및 절차가. 빅데이터 시각화 개념- 정형/비정형 데이터를 시각화하여 의사결정의 효율성과 데이터 인사이트를 극대화하는 목적의 기술 나. 빅데이터 시각화 절차단계절차설명1데이터 수집IoT, 로그, 센서, SNS  등 대용량 데이터 수집2데이터 전처리이상치 제거, 정규화, 결측치 처리 등 가공3데이터 분석 및 모델링통계 분석, 머신러닝 기반 분석 등 항목 도출4시각화 설계 및 구현시각화 방법 및 도구 선택, 차트/그래프/맵 등5시각화 공유 및 적용대시보드 형태로 제공, 협업 시스템 연계  2. 빅데이터 시각화 방법방법개념도설명바 차트 - 범주형 데이터 간 크기 비교- 가로/세로 막대 형태의 차트라인 차트 - 시간의 흐름에 따른 추세 분석에 적합한 선형 연결 차트파이 차트 - 전체 ..

1. 분산 메시징 시스템, 카프카의 개요가. 카프카의 정의- 센서, 애플리케이션 등에서 수집한 데이터 스트림을 실시간으로 관리하기 위한 오픈소스 시스템 나. 카프카의 주요 역할구성 요소주요 역할설명Producer메시지 생성자데이터 Topic으로 전송 클라이언트Consumer메시지 수진사메시지 읽어와 처리 애플리케이션Broker메시지 저장소Topic과 Particion 데이터 저장, 전달Topic메시지 분류 단위메시지 분리 논리적 채널Partition메시지 병렬 처리 단위Topic 분할하여 분산,병렬 처리ZooKeeper메타데이터 및 클러스터 관리브로커 등록, 리더 선출Kafka Controller클러스터 직접 제어Zookeeper 없이 자체 관리- 메시지 전송 시 보내는 역할과 받는 역할 완벽하게 분리된..

1. 실시간 변경 추적, CDC의 정의- 데이터베이스에서 발생하는 변경 사항을 실시간 감지하고 이를 데이터 웨어하우스, 로그 분석 플랫폼에 전송하는 기술필요성) 실시간 데이터 처리, ETL 효율 향상, 이벤트 기반 처리. 실시간 변경 추적, CDC의 정의 2. CDC 구성도 및 방식가. CDC 구성도구성 요소설명활용변경 감지기데이터베이스 변경 감지트리거, 로그, 타임스탬프 기반데이터 파이프라인CDC 데이터를 스트리밍 처리Kafka, Flink, Debezium타겟 시스템데이터 웨어하우스실시간 분석, NoSQL 나. CDC 방식방식설명특징쿼리 기반변경 전/후 비교구현 쉽고 부하 높음트리거 기반트랜잭션 트리거 설정정밀하지만 성능 저하로그 기반트랜잭션 로그 분석복잡하지만 고성능타임스탬프 기반시간 기준 변경 추..

1. 데이터 손실 방지, 데이터베이스 백업의 개요정의- 데이터베이스의 데이터를 안전한 저장소에 복사하여 시스템 장애나 오류 발생 시 원래 상태로 복구할 수 있도록 하는 기술필요성- 데이터 손실 방지HW/SW의 고장 또는 사람의 실수로 손실되는 데이터 복구- 보안 사고 대응악성코드나 해킹으로 데이터 삭제 시 이전 상태로 복구- 서비스 연속성 확보SLA 준수와 고객 신뢰 유지에 핵심 역할- 전체 백업, 차등 백업, 증분 백업 등 다양한 백업 유형 존재 2. 데이터베이스 백업의 유형구분유형설명백업 범위전체 백업 (Full)가장 기본, 데이터베이스 전체 백업차등 백업 (Differential)마지막 전체 백업 이후 변경 데이터만 백업증분 백업 (Incremental)마지막 백업 이후 변경된 데이터만 백업백업 방..

1. 다치종속 제거, 4차 정규화 정의- 3차 정규형을 만족하면서, 하나의 기본키에 대해 두 개 이상의 독립적인 다치 종속이 존재하지 않도록 테이블 분해하는 정규화다치 종속) 하나의 속성이 기본키에 대해 다수의 독립적인 값 가질 때  2. 4차 정규화 과정정규화 이전문제점- 학생 ID에 대해 전화번호와 이메일이 각각 독립적 다치 종속 -> 중복 발생정규화 이후수행 효과- 다치 종속을 제거함으로써 데이터 중복이 줄고 데이터 이상 방지- 데이터 중복 제거로 성능 향상과 이상현상 제거로 데이터 무결성 확보

1. 데이터 관리 최적화, 데이터 옵스 정의- 데이터 파이프라인의 개발, 배포, 운영을 자동화하고 최적화하여 데이터 분석 신뢰성 향상시키는 운영 프레임워크필요성) 데이터 분석 품질 향상, 비즈니스 민첩성, 부서간 협업 2. 데이터 옵스 아키텍처와 구성요소가. 데이터 옵스 아키텍처 나. 데이터 옵스 주요 구성요소구분설명툴메타데이터시스템 및 활동 로그 관리MongoDB, Hadoop, Spark인증 및 권한환경 엑세스 제어IAM, OAuth 2.0, SSO보고서내부 분석 및 대시보드Tableau, Power BI자동 배포CI/CD 자동화Jenkins, CircleCI, GitLab오케스트레이션테스트 및 모니터링Grafana, Airflow, KubeFlow  3. 데이터 옵스 프레임워크

1. 데이터 무결성과 일관성 확보, 정규화정의데이터 중복 제거하고 이상현상 방지하여 데이터 무결성과 일관성을 확보하기 위한 설계 기법개념도정규화 단계1NF- 도메인 원자값2NF- 부분적 함수 종속 제거3NF- 이행적 함수 종속 제거BCNF- 결정자 중 후보키 아닌 것 제거4NF- 다치 종속 제거5NF- 조인 종속성 제거장단점장점- 데이터 무결성 및 정합성 확보단점- 테이블 수 증가로 조회 성능 저하적용 대상OLTP 시스템, 금융, ERP  2. 데이터 조회 성능 향상, 역정규화정의성능 향상 또는 조회 최적화를 위해 정규화된 테이블을 통합하거나 중복을 허용하여 재구성하는 설계 기법개념도역정규화 기법테이블 병합- 자주 조인되는 테이블 하나로 통합중복 컬럼 추가- 조회 성능 개선 위해 특정 컬럼 중복 저장요약..

1. 데이터 자산의 설명서 제공, 데이터 카탈로그의 정의- 조직 내 다양한 데이터를 이해하고 탐색할 수 있도록 메타데이터를 중앙에서 수집, 정리, 관리, 검색 가능하게 만든 정보 저장소필요성) 데이터 활용 증가, 거버넌스, 분석 생산성 향상  2. 데이터 카탈로그 구성도 및 주요 기능가. 데이터 카탈로그 구성도 나. 데이터 카탈로그 주요 기능구성 요소주요 기능설명메타데이터 저장소- 메타 크롤러- 리니지 크롤러- 샘플 크롤러데이터 메타 정보, 히스토리 정보, 샘플 데이터 수집데이터 계보- 데이터 흐름 시각화테이블 및 스키마 변경 이력 관리데이터 분류 및 태깅- 자동 분류 및 사용자 태그데이터 특성 식별, 접근 제어 제공API 및 연동- 외부 시스템과 통합외부 BI/ETL(extract, transform,..