반응형

전체 글 238

데이터베이스 샤딩

Ⅰ. 대용량 처리를 위한 데이터베이스 파티셔닝, Sharding의 개요정의물리적으로 다른 데이터베이스에 Shard 파티션 생성하여 데이터를 분할하여 저장 관리특징성능 개선큰 데이터를 분산 저장하여 개별 테이블은 각 샤드에서 더 빠른 작업 지원신뢰성 개선한 샤드가 실패하더라도 다른 샤드가 데이터 서비스 제공위치 추상화애플리케이션 서버에서 데이터가 어떤 데이터베이스에 위치한지 알 필요 없음 Ⅱ. 샤딩 데이터베이스 분할 방법 및 가이드라인가. 샤딩 데이터베이스 분할 방법방법설명특징Modular ShardingPK를 모듈러 연산한 결과로 DB를 라우팅하는 방식- 데이터가 균일하게 분산- DB 추가 증설시 기존 데이터 재정렬Range ShardingPK의 범위를 기준으로 DB를 특정하는 방식- 증실시 재정렬 비용..

IT 기술/DB 2024.10.02

데이터 클렌징(Cleansing), 프로파일링(Profiling)

Ⅰ. 데이터 품질 확보, 데이터 클렌징가. 데이터 클렌징의 정의 및 프로세스정의데이터베이스, 테이블, 레코드에서 손상된 정보를 식별하여 교체, 삭제 또는 수정하는 프로세스프로세스1. 데이터베이스 대상 정의클렌징 대상 데이터베이스 범위 정의2. Dirty Data 원인 파악데이터 결측치 및 이상치 식별3. 데이터 품질 문제 우선순위클렌징 우선순위 결정4. Bad Data의 데이터베이스 유입 차단이상 데이터 입력 원인 식별 후 새로운 규칙 생성5. 데이터베이스에서 Bad Data 제거데이터베이스 내부 결측치 및 이상치 제거 나. 데이터 클렌징 기법기법설명데이터변환코드체계 변환다양항 현태의 코드 값을 단일 형태로 변환형식 재구성다양한 형식의 데이터 값을 단일 형식으로 전환수학적 변환다양항 형식의 단위 값을 단..

IT 기술/DB 2024.10.02

분산 데이터베이스 투명성

Ⅰ. 다중 DBMS 통합 관리 시스템, 분산 데이터베이스정의물리적으로 분산된 여러 지역 DBMS를 하나의 논리적인 데이터베이스로 관리하는 데이터베이스 관리 시스템 Ⅱ. 분산 데이터베이스의 투명성(Transparency)특성설명특징분할 투명성하나의 논리적 관계가 분할되어 여러 사이트에 저장- Bottle neck 방지- 시스템 성능 향상- 설계 복잡위치 투명성데이터 저장 위치 명시 불필요, System Catalog에 유지- 어플리케이션 단순화- 이중처리로 속도 저하지역사상 투명성지역  DBMS와 물리적 DB 매핑 보장- 지역 자치성 향상- 점진적 시스템 용량 확장중복 투명성DB 객체가 여러 사이트에 중복 저장에 대해 알 필요 없음- 시스템 구현 복잡장애 투명성장애에 무관한 트랜잭션의 원자성 유지- 장애처..

IT 기술/DB 2024.10.02

DBMS 병행 제어

Ⅰ. 데이터 동시 접근, 병행수행의 개요정의다수의 사용자가 접근하는 DBMS에서 트랜잭션들의 동시 접근시 직렬성을 보장하여 작업 수행하는 기법필요성- 트랜잭션들의 직렬성 보장- 데이터의 일관성과 무결성 보장- 트랜잭션 간섭 제어 (상호 배제) Ⅱ. 병행수행 실패에 따른 문제점문제점사례설명갱신 손실(Lost Update)- 하나의 트랜잭션이 갱신한 내용을 다른 트랜잭션이 덮어씀으로써 갱신이 무효화되는 문제- 두 개의 트랜잭션이 한 개의 데이터를 동시에 갱신할 때 발생현황 파악 오류(Dirty Read)- 트랜잭션이 특정 데이터에 쓰기 작업을 하는 중간에 다른 트랜잭션이 해당 데이터를 읽어와 중간 데이터를 읽어 발생하는 문제모호성(Inconsistency)- 트랜잭션이 특정 데이터를 갱신하는 동안 다른 트랜..

IT 기술/DB 2024.10.01

앙상블 기법

Ⅰ. 복수개의 모델 조합, 앙상블 기법의 개요- 복수의 약한 분류기를 생성하고 그 예측을 결합함으로써 더 정확한 최종 예측을 도출하는 기법 Ⅱ. 랜덤 샘플 데이터 학습, Bagging가. Bagging의 정의정의Bootstrap Aggregating, 여러 개의 동일한 모델을 독립적으로 랜덤 샘플 데이터를 학습시켜 각각의 예측을 결합하여 최종 예측 수행하는 앙상블 기법 나. Bagging의 주요 과정과정설명부트스트랩 샘플링- 전체 데이터셋에서 중복 허용 랜덤 샘플링 수행- 복수의 훈련 데이터셋 생성독립 모델 학습- 생성한 훈련 데이터로 독립 모델 학습- 동일한 알고리즘으로 서로 다른 데이터 학습 예측 결합- 예측 결과 결합하여 최종 예측- 회귀 문제는 평균, 분류 문제는 투표를 통해 결정- 전체 데이터 ..

IT 기술/DB 2024.10.01

데이터 모델링의 4단계

Ⅰ. 현실세계 추상화 모델링, 데이터 모델링의 개요가. 데이터 모델링의 정의- 현실세계 데이터를 추상화하여 데이터베이스의 데이터로 표현하기 위한 전체 설계 과정 나. 데이터 모델링의 4단계 절차요구사항분석- 데이터 처리 요구 분석개념모델링- 독립적 개념 스키마 설계- 트랜잭션 모델링논리모델링- DBMS 개념 스키마 설계- 트랜잭션 I/F 설계물리모델링- 물리적 구조 설계- 트랜잭션 세부 설계- 전 단계 수정 사항 있을 시 피드백 루프로 이전 단계로 돌아가서 수정 Ⅱ. 데이터 모델링의 4단계 상세 설명 및 중요 고려 요인가. 데이터 모델링 단계별 상세 설명단계세부절차설명요구사항분석요구사항 도출- 업무 관계자 인터뷰- 외부자료 수집 분석요구사항 분석- 요구사항의 명확성, 완전성, 모호성 검증- 요구사항 도출..

IT 기술/DB 2024.10.01

NoSQL CAP 이론

Ⅰ. 분산 데이터베이스의 속성, NoSQL의 CAP 개념- 분산 DB의 3가지 속성 일관성, 가용성, 파티션 허용에 대해 3가지 전부 만족할 수 없고 장애 상황 시 2가지만 선택 가능하다는 이론 Ⅱ. NoSQL의 CAP의 개념도 및 2 Pick 설명가. CAP의 개념도 일관성(Consistency)- 모든 사용자는 항상 동시에 같은 데이터를 조회한다.가용성(Availability)- 모든 사용자는 항상 read/write 할 수 있다.- 노드 장애시 대체 노드가 작동한다.파티션 허용(Partition Tolerance)- 물리적 네트워크 분할 시에도 시스템은 정상 동작 한다. 나. CAP의 Two Pick 설명구분대표 시스템설명C + A- Oracle- MySQL- 가용성과 일관성 확보, 오류 허용하지 ..

IT 기술/DB 2024.10.01

이중서명(Dual Signature)

Ⅰ. Secure Electronic Protocol의 기발 기술, 이중 서명의 정의- 구매 정보와 지불 정보를 각각 다른 키로 암호화하여 판매자는 구매정보만, 금융기관은 지불정보만 확인 할 수 있도록 하는 전자 서명 기술 Ⅱ. 이중 서명 매커니즘가. 이중 서명 암호화단계수행 과정설명1이중서명 생성1) 구매/결제정보 다이제스트 M1, M2 생성 후 결합2) 결합된 M1 + M2 해시로 M 생성3) M에 사용자 개인키로 전자서명 생성2전자봉투 생성1) 카드사 비밀키로 결제정보 암호화2) 결제기관(PG)의 공개키로 비밀키 암호화3판매자 전송1) M1M2, 전자서명, 암호화 결제 정보, 전자 봉투 판매자에게 전달 나. 이중 서명 복호화단계수행과정성명1구매정보 확인 (판매자)1) 구매정보 활용해 M'1 생성2)..

IT 기술/보안 2024.09.26

APT(Advanced Persistent Threat)

Ⅰ. 다양하고 지속적인 타겟 공격, APT 개요가. APT 정의- 특수한 목적을 가지고 타겟을 선정하여 정보를 수집하고 취약점을 파악하여 지속적으로 다양한 방법으로 공격하는 기법 나. APT 특징- 명확한 타겟 목표- 우회 공격- 지능화- 지속적 Ⅱ. APT 공격 시나리오 및 공격 기법가. APT 공격 시나리오나. APT 공격방식공격 방식설명스피어 피싱- 특정인, 유명인사, 사이트 사용자를 대상으로 한 피싱 공격PLC- Programmable Logic Controller, 오랜 기간 동안 정보를 수집하는 침투 공격익스플로잇- 타겟이 가지고 있는 취약점을 이용한 전용 제로데이 공격내부자 위협- 스피어피싱 이요하여 내부자 중요 정보 획득사회공학적 기법- 신뢰하는 개인 조직을 가장하여 악성코드 전송- 다양한..

IT 기술/보안 2024.09.26

클라우드 보안 인증 제도 CSAP (Cloud Security Assurance Program)

Ⅰ. 클라우드 서비스 보안인증 CSAP의 개요개념- 클라우드 컴퓨팅 서비스 사용자의 정보보호를 위해 CSP가 제공하는 서비스에 대해 정보보호 기준 준수 여부 평가 인증하는 제도필요성- 공공기관에게 안정성 및 신뢰성이 검증된 민간 클라우드 서니스 공급- 클라우드 서비스 이용자의 보안 우려 해소 및 클라우드 서비스 경쟁력 확보- 한국인터넷진흥원(KISA)에서 평가/인증 시행 Ⅱ. 클라우드 서비스 보안인증 체계 및 인증 종류가. 보안인증 체계 나. 보안인증 종류 종류설명최초평가- 처음 인증 신청 시 실시- 중요한 변경 있을 시 실시사후평가- 보안인증 취득 후 지속 인증갱신평가- 보안인증 유효기간(5년) 만료 전 연장 Ⅱ. 클라우드 서비스 보안인증 대상 및 기준가. 클라우드 서비스 보안인증 대상구분대상 서비스I..

IT 기술/보안 2024.09.26
반응형