sLLM

Ⅰ. sLLM 모델의 개요

가. sLLM 모델의 개념 및 특징

개념	- LLM 모델의 컴퓨팅 파워 문제, 특정 산업 특화 한계 보완위해 파라미터 수를 대폭 줄인 비교적 크기가 작은 언어 모델
특징	- 100억개 이하 파라미터	- 기존 LLM 모델 대비 작은 규모의 파라미터 학습
	- Fine Tuning	- Fine Tuning을 통한 정확도 향상
	- 비용 절감	- 모델 학습에 요구되는 데이터, 시간, 비용 절감
	- 신속한 구축	- Fine Tuning을 통해 신속한 구축 가능

 

나. sLLM 모델의 등장배경

구분	등장배경	설명
기술적 측면	- 클라우드 플랫폼	- 클라우드의 향상된 컴퓨팅 성능 활용
	- 모델 경량화	- 모바일, IoT 등 저전력 장비에서 AI 학습
	- 트랜스포머 구조	- 시계열 데이터에 대한 병렬처리로 빠른 학습 가능
비즈니스 측면	- 시간 및 비용 절감	- LLM 모델의 학습 및 유지비용의 천문학적인 지출
	- 신속한 구축	- Fine Tuning을 통해 신속한 구축 가능
	- 외부 데이터 유출 방지	- 자체 모델 구축을 통해 데이터 외부 유출 방지

 

Ⅱ. sLLM 모델 기술 요소

가. sLLM 모델 구축 매커니즘

 

나. sLLM 모델 기술 요소

구분	기술 요소	설명
모델 측명	- Pre-Trained 모델	- 사전 학습된 모델 기반 학습
	- Fine tuning	- 사전 학습 모델 기반 미세 조정으로 맞춤형 모델 개발
	- 작은 모델 크기	- LLM 모델 대비 적은 파라미터 수
	- 모델 경량화	- 엣지 컴퓨팅과 같은 제한된 리소스 환경에서 사용
데이터 측면	- Distillation data	- 모델 효과적 개선 및 새로운 환경에 적용 가능
	- Open-Source data	- 모델과 데이터가 오픈 소스로 제공
	- 데이터 증강	- 데이터 양이 제한적으로 기존 데이터를 다양하게 활용

- LLM 대비 적은 파라미터 기반 빠른 학습과 비용 절감 장점 존재