회귀 알고리즘

Ⅰ. 회귀 알고리즘의 개념 및 유형

가. 회귀 분석의 개념

- 연속적인 데이터에 대해서 주어진 종속 변수와 독립 변수 간의 관계를 추정하기 위한 통계적 프로세스

 

나. 회귀 분석의 유형

유형	개념도	설명
선형 회귀		- 독립 변수 x를 활용해 종속 변수 y의 움직임을 예측 - 1차원 방정식의 기술기 구하기
로지스틱 회귀		- 선형회귀의 직선 대신 S자 곡선을 이용해 분류의 정확도 향상 - 시그모이드 함수와 소프트맥스 함수 사용
릿지 회귀		- 오버피팅 문제 해결을 위해 편향을 높이고 분산을 줄여 일반화 진행 - L2 정규화 적용으로 데이터 예측
라쏘 회귀		- 릿지 회귀와 동일하지만 L2 대신 L1 정규화 사용 - 예측에 중요하지 않은 변수 회귀 계수 감소
다항 회귀		- 다항식이나 곡선을 구해서 데이터 움직임을 예측 - 속성들 사이에 있는 복잡한 관계 분석 가능

 

Ⅱ. 선형회귀의 회귀식 및 평가방법

가. 선형 회귀의 회귀식

선형 회귀 개념도	회귀식
	Y = α + β X + ϵ  X: 독립 변수 Y: 종속 변수 α: X 값에 영향을 주는 회귀 계수 β: 회귀 계수, regression coefficient ϵ: 오차항, error term

 

나. 선형회귀 평가방법

평가 방법	수식	설명
Mean Squared Error		- 실제값과 예측값의 차이의 제곱
Root Mean Squared Error		- MSE에 루트를 씌워 평균값과의 차이 감소
Mean Absolute Error		- 실제값과 예측값 차이의 절대값
R Square		- 평균과 비교해서 회귀선이 실제 데이터값을 얼마나 잘 설명하는지 평가 - SSR: 예측값과 평균값 차이 제곱 - SSE: 예측값과 실제값 차이 제곱 - SST: 평균값과 실제값 차이 제곱