하이퍼파라미터

Ⅰ. 효율적 학습을 위한 파라미터와 하이퍼파라미터 비교

가. 파라미터와 하이퍼파라미터 개념 비교

구분	파라미터	하이퍼파라미터
개념	주어진 데이터로부터 학습을 통해 모델 내부에서 결정되는 변수	최적의 모델링을 위해 사용자가 직접 설정해주는 변수
개념도

- 파라미터는 모델에 의해 결정, 하이퍼파라미터는 휴리스틱 기반 직접 설정

 

나. 파라미터와 하이퍼파라미터 특징 비교

구분	파라미터	하이퍼파라미터
목적	- 최적화된 딥러닝 모델 구현	- 모델링 최적화 파라미터 값 도출
생성 주체	- 데이터를 학습한 모델이 생성	- 사용자가 판단하여 직접 생성
종류	- 인공신경망 가중치 - SVM에서 서포트 벡터 - 선형회귀에서 결정계수	- 학습률 - 경사하강법 반복 횟수 - 활성화 함수
조정 여부	- 파라미터 임의 조정 불가	- 하이퍼파라미터 조정 가능

- 하이퍼파라미터 튜닝을 통해 최적의 파라미터 도출 및 딥러닝 모델 생성

 

Ⅱ. 하이퍼파라미터의 종류

종류	설명	고려사항
학습률 (Learning Rate)	기울기의 방향으로 얼마나 빠르게 이동할 것인지 결정하는 변수	너무 작으면 학습 속도 늦고 너무 크면 학습 불가
손실 함수 (Cost Function)	입력에 따른 기대값과 실제값의 차이를 계산하는 함수	- 평균 제곱 오차 - 교차 엔트로피 오차
미니 배치 크기	배치셋 수행을 위해 전체 학습 데이터를 등분하는 크기	가용 메모리 크기와 epoch 수행 성능 고려
정규화 파라미터	과적합 문제 회피 위해 L1, L2 정규화 사용	일반화 변수도 하이퍼파라미터로 분류
훈련 반복 횟수	학습의 조기 종료를 결정하는 변수	학습 효율이 떨어지는 시점을 적절히 판단
은닉층 뉴런 개수	훈련 데이터에 대한 학습 최적화 결정 변수	입력 계층보다 첫 은닉층 뉴런 수가 많은 것이 효과적
가중치 초기화	학습 성능에 대한 결정 변수	모든 초기값이 0일 경우 모든 뉴런이 동일한 결과

- 최적의 딥러닝 모델 생성을 위해 다양한 하이퍼파라미터 튜닝 필수

 

Ⅲ. 하이퍼파라미터의 튜닝 방법

가. 하이퍼파라미터의 튜닝 방법

 

나. 하이퍼파라미터 튜닝 기법

기법	요소	설명
Manual Search	휴리스틱 조합	사용자 직관과 경험 기반 탐색
	탐색의 단순성	사용자 도출 조합 중 최적 조합
Grid Search	모든 조합 탐색	하이퍼파라미터 적용 값 전체 탐색
	시행횟수 한계	과도한 연산량으로 전체 탐색 한계
Random Search	랜덤 샘플링	범위 내 무작위 값 반복 추출
	탐색 범위 부여	하이퍼파라미터 최소값 최대값 부여
Bayesian Optimization	관측 데이터 기반 목적함수 추정	베이즈 정리 활용