파운데이션 모델

Ⅰ. AI 파운데이션 모델 개념

- 대규모 데이터셋에 의해 사전 학습되고 출력의 범용성을 고려하여 설계되어 다양한 작업에 적용될 수 있는 AI 기초 모델

 

Ⅱ. 파운데이션 모델의 특징 및 동작 방식

가. 파운데이션 모델의 특징

특징	특징
대큐모 데이터셋과 모델	- 텍스트, 이미지, 오디오 등 방대한 양의 데이터로 사전 학습 - 모델 자체도 대규모, 수억에서 수천억 개의 파라미터
범용성	- 여러 작업에 적용될 수 있는 범용적인 특성 모델 - 하전 학습 후 파인튜닝 작업 수행으로 범용성 구축
전이 학습	- 사전 학습에서 얻은 지식을 특정 작업에 전이 가능 - 새로운 작업에서 적은 양의 데이터로 성능 달성
모듈성	- 다양한 어플리케이션에 모듈식으로 적용 - NLP 분야의 GPT-3는 대화형 AI, 텍스트 생성, 번역 등 작업

 

나. 파운데이션 모델의 동작 방식

동작 방식	설명
사전 학습	- 대규모 비지도 학습 데이터 사용 모델 사전 학습 - 모델은 데이터의 패턴, 구조, 상관 관계 등 학습
파인 튜닝	- 사전 학습된 모델 특정 작업과 도메인에 추가 학습 - 파인튜닝 과정을 통해 해당 작업에 성능 최적화
응용	- 다양한 응용 분야에 맞게 최적화된 모델로 작업 수행

 

 

Ⅲ. 파운데이션 모델의 예시

구분	예시 모델	설명
자연어 처리	GPT	- OpenAI의 대규모 텍스트 데이터 기반 언어 모델
	BERT	- Google의 자연어 문맥 이해 양뱡향 학습 모델
컴퓨터 비전	CLIP	- OpenAI의 이미지 분류, 검색, 생성 등 작업 모델
	DALL-E	- OpenAI의 텍스트 설명 기반 이미지 생성 모델
음성 인식	Wav2Vec	- Facebook의 음성 데이터 기반 모델, 음성인식, 분류 작업