데이터 마이닝

Ⅰ. 데이터 마이닝과 통계의 차이점

구분	데이터 마이닝	통계 분석
정의	데이터에서 숨겨진 패턴, 관계, 정보를 추출하고 예측 모델을 개발하는 프로세스	데이터를 활용 통계적 가설을 설정하고 데이터 분석 모델을 개발하는 프로세스
목적	데이터 패턴 발견과 예측	데이터 통계적 요약 및 추론
데이터 복잡성	대량의 다차원 복잡한 데이터	대체로 복잡하지 않은 데이터
패턴 탐색	데이터 자체 분석으로 패턴 탐색	통계적 가정을 기반으로 패턴 탐색
활용 분야	- 마케팅 및 고객 관리 - 의료 및 생명과학 - 제조 및 공학 - 금융 및 경제	- 일기 예보 - 선거 예측 - 교통 흐름 분석 - 소비자 행동 분석
방법론	- 군집화 분석 - 연관 분석 - 분류 분석 - 차원 축소	- 교차 분석 - 차이 검증 - 상관 분석 - 회귀 분석

- 데이터 마이닝은 데이터로부터 가치 있는 정보를 추출하는 역할

 

Ⅱ. 정형 데이터 마이닝과 비정형 데이터 마이닝 비교

가. 정형 데이터 마이닝과 비정형 데이터 마이닝 비교

특징	정형 데이터 마이닝	비정형 데이터 마이닝
데이터 구조	고정된 형식과 구조를 갖춘 데이터	규칙적인 형식이 없는 데이터
저장 방식	테이블 형태의 DB에 저장	파일 시스템, NoSQL DB에 저장
데이터 처리	SQL과 같은 쿼리 언어 사용 처리	자연어 처리, 이미지 분석 등 사용
마이닝 기법	- 로지스틱 회귀 - 신경망 모델 - 의사결정나무	- 텍스트마이닝 - 웹마이닝 - 오피니언 마이닝

 

나. 정형, 비정형 데이터 마이닝 기법 상세 설명

구분	기법	설명
정형 데이터 마이닝	로지스틱 회귀	- 새로운 변수가 주어질때 각 범주에 속할 확률 추정
	신경망 모델	- 인간 뇌 뉴런의 활동 패턴과 같은 모델 구축하여 예측 수행
	의사결정나무	- 나무구조의 연속적 발생 의사결정을 시각화하여 분석
비정형 데이터 마이닝	텍스트 마이닝	- 자연어 처리 기술 활용 대규모 문서에서 정보 추출
	웹 마이닝	- 웹 구조 마이닝 및 웹 콘텐츠 마이닝으로 웹에서 정보 추출
	오피니언 마이닝	- 인터넷에서 어떤 이슈에 대한 원천 데이터에서 의견 추출

 

 

Ⅲ. 오피니언 마이닝 수행 절차 및 텍스트 마이닝과 비교

가. 오피니언 마이닝 수행 절차

단계	활동	설명
데이터 처리	데이터 수집	- 소셜 미디어, 고객 리뷰, 뉴스 기사 등에서 텍스트 데이터 수집
	전처리	- 수집 데이터 정제, 토큰화, 어간 추출, 오류 서정 등 전처리
데이터 분석	감성 분석	- 텍스트에서 긍정, 부정, 중립과 같은 감정적 요소 분류, 강도 평가
	의견 추출 및 분류	- 텍스트 내에서 구체적 의견 추출, 의견 관련 주제 분류
데이터 보고	결과 분석 및 시각화	- 분석 데이터 기반 결과 해석, 시각화 도구 사용 결과 표시
	보고서 작성 및 의사결정 지원	- 분석 결과 보고서 형식 작성, 의사결정자에게 제공

 

나. 오피니언 마이닝과 텍스트 마이닝 비교

항목	오피니언 마이닝	텍스트 마이닝
목적	주로 사람들의 의견, 감정, 평가등을 추출하고 분석	텍스트에서 유용한 정보나 패턴을 발견하고 분석
주요 대상	소셜 미디어, 리뷰, 설문조사 등	다양한 종류의 텍스트 데이터
분석 대상	감성 분석, 긍정/부정/중립 분류, 의견의 강도 분석	키워드 추출, 주제 모델링, 텍스트 분류
사용 기술	감성 분석, 자연어 처리, 기계 학습 기반 의견 분석	자연어 처리, 통계적 분석, 클러스터링, 텍스트 분류
결과	감정적 평가, 의견의 주제와 관련된 분석 결과	텍스트에서 추출된 주제, 의미 있는 정보
응용 분야	제품 리뷰 분석, 소셜 미디어 분석, 고객 만족 조사	문서 요약, 텍스트 분류, 정보 검색, 주제 모델링