반응형
1. 나무 구조의 분류 및 예측 분석 모델, 의사결정나무의 개념
| 정의 | - 의사 결정에 대한 규칙을 나무 구조로 나타내어 전체 자료를 분류하거나 예측을 수행하는 분석 모델 | |
| 구성요소 | root node | - 의사결정나무가 시작되는 노드 |
| parent node | - child 노드의 상위 노드 | |
| child node | - 하나의 마디로부터 분리되어 나간 2개 이상의 노드 | |
| terminal node | - 더 이상 분리되지 않는 최종 노드 | |
| branch | - root node부터 terminal node까지 연결된 node | |
| depth | - root node부터 terminal node까지 node 들의 수 | |
2. 의사결정나무의 불순도 및 분석 프로세스
가. 의사결정나무의 불순도
| 구분 | 수식 | 설명 |
| 지니 지수 |  |
- 불순도 측정 지수, 얼마나 다양한 데이터가 섞여있는지 정도 - 지니 지수가 0이면 모든 데이터가 균일 |
| 엔트로피 지수 |
 |
- 모델 예측 값과 실제 값 간의 절대오차의 평균 - 엔트로피가 높으면 불순도가 높다는 의미 |
| 정보 획득 |  |
- 전체 엔트로피와 분할 후 엔트로피의 차이 - 정보 획득이 없을 때까지 트리 생성 |
나. 의사결정나무 분석 프로세스
| 구분 | 세부 내용 | 설명 |
| 설계 | 의사결정나무 형성 | - 목표 변수를 가장 잘 분류할 수 있는 분리 기준 설정 - 최종 끝마디가 되는 정지 규칙 설정 |
| 분석 | 가지치기 | - 분류 오류가 발생할 수 있거나 부적절한 추론 규칙을 가진 가지 제거 |
| 타당성 평가 | - 교차타당성 (Cross Validation)을 이용하여 의사결정나무 평가 | |
| 결론 | 해석 및 예측 | - 구축된 나무모형 해석, 분류 및 예측 적용 |
3. 의사결정나무 알고리즘
| 알고리즘 | 정의 | 특징 |
| ID3 | - 반복적으로 이분하는 알고리즘 | - 불순도 지수로 엔트로피 지수 사용 - 엔트로피 작게하는 방향으로 진행 - 독립변수가 모두 범주형일 때 가능 |
| C4.5 | - 기존의 ID3 알고리즘 개선 | - 정교한 불순도 지표 활용 - 범주형 뿐 아니라 연속형 변수 사용 가능 - 결측치 포함 데이터 사용 가능 |
| CART (Classification And Regression Tree) |
- 분류와 회귀 모두 가능한 알고리즘 | - 불순도 지수로 지니 지수 사용 - 의사결정나무를 모두 이진트리로 구성 |
| CHAID (Chi-Squared Automatic Interaction Detection) |
- 카이제곱 또는 F-검정 활용 분류 | - 수치형, 범주형 변수 모두 활용 가능 - 이지 분리, 다지 분리 모두 활용 가능 |
4. 의사결정나무 활용 기반 알고리즘
- 의사결정나무를 기반으로 보팅, 배깅, 부스팅 기법을 사용해 다양한 머신러닝 분석 모델로 활용
반응형