전이학습

Ⅰ. 지식 이전을 통한 학습, 전이학습의 개념

- 기존의 학습된 모델과 비슷한 유형의 다른 모델로 학습된 결과를 옮겨서 부족한 데이터나 학습 시간을 보완하는 머신러닝 기법

 

Ⅱ. 전이학습의 유형

구분	유형	설명
적용 범위	과업 전이	- 영상인식에서 음성인식으로 Task 변경 - Feature extraction:  기존 학습모델의 일부 계층 재사용 - Fine Tuning: 기존 학습모델 전체 또는 일부 재학습
	도메인 전이	- 영불번역기를 영한번역기로 전이하는 것 처럼 데이터 확률분포가 다른 경우
데이터셋 레이블 여부	귀납	- Multi-task: 하나의 학습데이터로 여러가지 분류 문제 처리 - Self-taught: 원본 데이터 Labeled 변환
	변형	- source data의 label 이용하여 target data에 맞도록 학습
	자율	- Unlabeled Data간 학습 진행

 

Ⅲ. 전이학습의 주요학습 기법

학습 기법	설명
Fine-tuned	- 미리 학습된 모델의 마지막 Fully Connected Layer만 변경
Pre-trained Model	- 미리 학습된 모델의 가중치를 새로운 모델에 적용
Layer Re-use	- 모델의 일부 Layer를 재사용하여 부족 Data Domain 모델 구축에 활용