인공신경망

Ⅰ. 인공신경망의 개념, 구성요소, 역할

가. 인공신경망의 개념

- 인간두뇌 세포를 모방하여 뉴런들의 상호작용과 경험을 통해 반복학습하는 과정을 모형화하는 분석 기법

 

나. 인공신경망 구성요소 및 역할

구조	구성요소	역할
input layer	입력값	- 모델 학습을 위한 학습 데이터
hidden layer	가중치	- 활성화 함수의 입력값으로 사용되는 뉴런간 연결 계수
	활성화 함수	- 임계값을 이용 뉴런의 활성화 여부를 결정하는 함수
output layer	출력값	- 학습을 통해 도출된 결과값

 

Ⅱ. 피드포워드 뉴럴 네트워크 개념 및 절차

가. 피드포워드 뉴럴 네트워크의 개념

- 인공신경망의 최초의 가장 단순한 형태로 입력층에서 출력층으로 단 방향으로 진행하며 학습하는 모델

 

나. 피드포워드 뉴럴 네트워크 절차

구분	절차
순전파	1) 학습 데이터 입력층으로 입력
	2) 은닉층 가중치, 편향 연산 및 활성화 함수 연산 반복 수행
	3) 연산 결과인 예측값 출력
손실 계산	4) 예측값과 실제 값 차이 손실 함수 활용 오차 계산
역전파	5) 계산된 오차에 따라 경사 하강법 활용 가중치 갱신
반복 학습	6) 오차 기준 만족할 때까지 전 과정 반복

 

Ⅲ. 역전파 개념 및 절차

가. 역전파의 개념

- 모델의 데이터 예측 결과값으로 실제값과의 오차를 구해 이를 토대로 거슬러 올라가며 가중치를 조정하는 방법

 

나 .역전파의 절차

구분	설명
순전파	1) 임의의 초기 가중치 W를 설정한 뒤 학습 데이터를 통해 결과 y_out 계산
역전파	2) 손실 함수를 활용 모델 계산 결과와 실제 값과의 오차 계산
	3) 경사 하강법 이용 이전 가중치를 오차가 작아지는 방향으로 업데이트
반복	4) 위 과정을 오차가 줄어들지 않을 때까지 반복

 

Ⅳ. 활성화 함수의 종류 및 역할

활성화 함수	개념도	설명
Sigmoid 함수		- 실수 값을 입력 받아 0과 1 사이 값으로 압축 - 기울기 소멸 문제 발생 가능
Tanh 함수		- 실수 값을 입력 받아 -1과 1 사이 값으로 압축 - 시그모이드에 비해 최적화를 잘하지만 기울기 소멸 문제 존재
ReLU 함수		- 입력값이 0을 넘으로 그대로 출력, 0 이하면 0 출력 - 연산이 빠르고 가장 많이 활용
Leaky ReLU		- ReLU와 유사하지만 입력 값이 0보다 작을 때의 값도 고려 - 깊은 층에서도 손실 없이 정보 전달