생성형 인공지능 위험성, 할루시네이션

Ⅰ. 생성형 인공지능 개념과 기술요소

가. 생성형 인공지능의 개념

- 이용자가 요구한 질물이나 과제 해결을 위해 스스로 데이터를 찾아 학습하고 능동적으로 결과물을 제시하는 진화한 인공지능

 

나. 생성형 인공지능의 기술 요소

구분	기술 요소	설명
데이터	벡터 데이터베이스	- AI 모델이 생성한 벡터를 저장하고 검색 - AI 모델의 출력을 저장, 사용자가 쿼리 사용
	합성 데이터	- 실제 데이터를 모방한 인공적으로 생성된 데이터 - 실제 데이터 사용 불가능 시 주로 사용
	데이터 라벨링	- 신뢰도 높은 모델 학습을 위한 데이터 라벨링
모델	기반 모델	- 대규모 데이터셋 학습 가능한 범용 AI 모델 - GPT3와 같은 대규모 언어 모델이 대표적
	모델 감독	- AI 모델의 동작 모니터링 및 설명 - AI 모델이 편향되지 않는지 감독 수행
	모델 안전성	- 생성형 AI의 주 위험인 편향된 출력 제거
학습	Fine Tuning	- 특정 작업이나 데이터셋에서 모델 추가 학습 - 모델의 성능 향상, 오버피팅 방지

 

Ⅱ. 할루시네이션

가. 할루시네이션 정의 및 발생원인

구분	상세 설명
정의	- 생성형 인공지능 모델이 데이터 오류, 모델의 편향성으로 인해 정확하지 않거나 사실이 아닌 조작된 정보, 오해의 소지가 있는 결과를 생성하는 현상
발생원인	-불충분한 학습 데이터	- 편향되거나 데이터 부족으로 제한된 이해를 바탕으로 학습
	- 과적합 인공지능	- 훈련 데이터가 아닌 신규 데이터에 대한 비일반화 출력
	- 적대적 공격	- 악의적 공격을 위함 프롬프트 엔지니어링 기법 기반 조작
	- 모델 파라미터	- 은닉층 및 하이퍼파라미터의 복잡성으로 인한 오류

 

나. 할루시네이션의 유형

구분	상세 설명
개념도	질문 입력 -> 생성형 AI 모델 -> 부정확 출력
유형	- 직전 내용과 상반되는 내용 생성	- 입력: 풍경을 묘사하세요 - 출력: 바다는 초록색, 바다는 파란색
	- 사용자 입력 프롬프트와 상반	- 입력: 동생 생일 축하 문구 작성해줘 - 출력: 엄마, 아빠 결혼 기념일 축하해
	- 허구의 정보 사실로 제시	- 입력: 대한민국 수도는 - 출력: 런던
	- 입력 맥락과 불일치	- 입력: 제주도를 설명해줘 - 출력: 제주도는 대한민국의 섬입니다. 고양이는 포유류입니다

 

 

Ⅲ. 할루시네이션 해결 방안

가. 할루시네이션 해결 방안 요약

- 해결 방안으로 서비스, 플랫폼, 데이터, 제로적 관점으로 분류

 

나. 할루시네이션 해결 방안 상세 설명

구분	해결 방안	설명
서비스	- 모델 공격 탐지, 방어	- 할루시네이션 유발 공격 쿼리 탐지, 차단 검토
	- 적응형 AI 모델 도입	- 실시간 외부 데이터 접근 및 오류 검출, 정정 및 출력 수행
플랫폼	- 프롬프트 엔지니어링 적용	- AI 유효 답변 유도하여 알맞은 결과 생성하도록 적용
	- 산업 맞춤형 AI 개발	- 특정 산업별 최적화된 생성형 AI 플랫폼 구성
데이터	- 재현데이터 기반 학습	- 시뮬레이션 통한 데이터 오버 샘플링, 모델 학습 활용
	- 데이터 클렌징 수행	- 오염 데이터 제거, 학습에 유효한 신뢰 가능한 데이터 이용
제도	- 설명가능 AI 도입	- AI 출력 결과를 인간이 이해할 수 있는 XAI 도입
	- 윤리 가이드라인 제정	- 인공지능 개발 및 활용에 대한 그라운드 룰, 가이드라인 검토

- 다양한 해결 방안 적용으로 보수적인 모델 조정으로 생성형 AI 흥미 감소 우려