반응형

Ⅰ. 머신러닝 모델 개발 자동화, AutoML의 개요

가. AutoML 개념

- 머신러닝 모델을 학습하고 배포하는 과정을 자동화하여 필요한 인력, 비용, 시간을 줄이고 최적의 성능을 찾아내는 프로세스

 

나. AutoML 등장배경

1. 머신러닝 생선성 강화 필요: AI 플랫폼 기반 머신러닝 파이프라인 서비스 생산성 강화

2. 도메인 전문가 부족: 알고리즘 개선에 필요한 도메인 전문가 부족

3. 전이학습 기반 한계: 학습 모델 재사용에 따른 오류 방지

 

Ⅱ. AutoML 구성 및 구성요소

가. AutoML 구성도

- 데이터 특징 추출, 하이퍼파라미터 최적화, 신경망 아키텍처 탐색 프로세스 자동화

 

나. AutoML 구성요소별 주요기법

구성요소 주요 기법 설명
하이퍼파라미터
최적화
- 그리드 탐색
- 랜덤 탐색
- 베이지안 탐색
- 학습률, 배치크기, 학습 반복 횟수, 손실함수, 등 학습에 영향주는 하이퍼파라미터 최적화
데이터 특징 추출 - 도메인 엔지니어링
- 차원 축소
- 탐색적 데이터 분석
- 학습 데이터를 그대로 사용하지 않고 유의미한 특징을 추출하여 입력
- 통계적 기법 또는 시각화 기법 활용하여 데이터 분석
신경망 아키텍처 탐색 - 진화 알고리즘 기반
- 강화학습 기반
- 모델링 전체 프로세스를 직접 설계하는 대신 학습을 통해 최적의 아키텍처를 설계

 

Ⅲ. AutoML 종류 및 특징

구분 종류 특징
Open Source Software - Auto-sklearn
- AutoKeras
- AdaNet
- 커스터마이징 자유로움
- 높은 컴퓨팅 자원 필요
- 모델 평가, 배포 등 기능 미흡
Cloud Provider Solution - Cloud AutoML
- Sagemaker Autopilot
- Azure
- 데이터 전처리, 피처 엔지니어링
- 자동 기계학습 모형 선택
- 모형 해석 지원
Enterprise solution - DataRobot
- H2O
- 자동 모델 생성, 모델 검증
- 모델 배포, 모니터링
반응형

'IT 기술 > 인공지능' 카테고리의 다른 글

전이학습  (0) 2024.10.24
XAI(eXplainable AI)  (1) 2024.10.24
초거대 AI  (1) 2024.10.24
RAG(Retrieval Augmented Generation)  (0) 2024.10.24
sLLM  (1) 2024.10.24
반응형

Ⅰ. 지식 이전을 통한 학습, 전이학습의 개념

- 기존의 학습된 모델과 비슷한 유형의 다른 모델로 학습된 결과를 옮겨서 부족한 데이터나 학습 시간을 보완하는 머신러닝 기법

 

Ⅱ. 전이학습의 유형

구분 유형 설명
적용 범위 과업 전이 - 영상인식에서 음성인식으로 Task 변경
- Feature extraction:  기존 학습모델의 일부 계층 재사용
- Fine Tuning: 기존 학습모델 전체 또는 일부 재학습
도메인 전이 - 영불번역기를 영한번역기로 전이하는 것 처럼 데이터 확률분포가 다른 경우
데이터셋
레이블 여부
귀납 - Multi-task: 하나의 학습데이터로 여러가지 분류 문제 처리
- Self-taught: 원본 데이터 Labeled 변환
변형 - source data의 label 이용하여 target data에 맞도록 학습
자율 - Unlabeled Data간 학습 진행

 

Ⅲ. 전이학습의 주요학습 기법

학습 기법 설명
Fine-tuned - 미리 학습된 모델의 마지막 Fully Connected Layer만 변경
Pre-trained Model - 미리 학습된 모델의 가중치를 새로운 모델에 적용
Layer Re-use - 모델의 일부 Layer를 재사용하여 부족 Data Domain 모델 구축에 활용
반응형

'IT 기술 > 인공지능' 카테고리의 다른 글

AutoML  (0) 2024.10.24
XAI(eXplainable AI)  (1) 2024.10.24
초거대 AI  (1) 2024.10.24
RAG(Retrieval Augmented Generation)  (0) 2024.10.24
sLLM  (1) 2024.10.24
반응형

Ⅰ. 설명 가능한 인공지능, XAI의 개요

가. XAI의 개념

- 인공지능 모델의 최종 결과물에 대해서 추론 과정과 원인에 대한 설명이 가능하도록 하여 사용자가 쉽게 이해할 수 있도록 하는 인공지능 기술

 

나. XAI의 등장 배경

인공지능 영향력 확산 - 국가의 경제성장 기여
- 금융, 교통, 교육 등 전 분야 의사결정 지원
인공지능 역기능 사례 증가 - 블랙박스 모델에 의한 결과 해석 불가
XAI로 문제 해결 - 의사결정 투명성 확보
- 공정성, 신뢰성 보장

 

Ⅱ. XAI 구현 기술

구분 세부 기술 설명
기존 학습모델
변경 기술
역 합성곱 신경망 - 기존 학습 모델에 역산 과정 추가 및 수정
추론 및 시각화 - 합성곱 신경망의 학습 과정 역산으로 결과 영향 요소 추론 및 시각화
새로운 학습모델
기술
확률적 AND-OR 그래프 - 원인, 결과 도출 과정이 표현 가능한 학습 모델
- 입력 데이터의 특징을 관계 그래프로 생성
학습 모델 간
비교 기술
상호 대조 및 추론 - 설명 가능한 다른 분류 모델과의 상호 대조로 최종 결과물 설명

 

Ⅲ. XAI가 인공지능에 미치는 영향

구분 영향 설명
사회적
측면
사용자의 신뢰 확보 - 다양한 분야의 사용자로부터 신뢰 확보
공감대 형성 - 편향된 결과 제거, 문제에 타당한 설명
기술적
측면
고성능 학습모델 도출 - 학습 모델 간 비교로 적합한 학습 모델 도출
새로운 AI 전략 도출 - 학습 과정 다양한 패턴 추출, 분석하여 새로운 전략 도출
법/제도
측면
분쟁에 대한 원인 파악 - 인공지능 시스템의 잘못된 판단에 의한 원인 파악 가능
GDPR등 규정준수 여부 판단 - 개인정보보호 규정과 같은 규정 준수 여부 판단 가능
인공지능산업
측면
인공지능 산업 활성화 - 인공지능에 대한 부정적 인식 제거로 산업 활성화
비즈니스 활용수요 증가 - 설명가능한 효과적인 의사결정으로 수요 증가
반응형

'IT 기술 > 인공지능' 카테고리의 다른 글

AutoML  (0) 2024.10.24
전이학습  (0) 2024.10.24
초거대 AI  (1) 2024.10.24
RAG(Retrieval Augmented Generation)  (0) 2024.10.24
sLLM  (1) 2024.10.24
반응형

Ⅰ. 기존에 없던 답도 추론하는 초거대 AI의 개념

- 사람의 뇌 구조를 모방해 방대한 자료를 스스로 학습하고 문제에 대한 답을 추론하는 수천억개 이상의 매개변수를 학습시킨 AI 모델

 

 

Ⅱ. 초거대 AI의 주요 구성요소

구분 구성 요소 설명
기술 측면 알고리즘 - 문제 해결을 위한 추론과 학습 능력
컴퓨팅 파워 - 방대한 양의 데이터 연산을 위한 컴퓨팅 파워
데이터 - 성능 향상을 위한 다양한 형태의 대규모 학습 데이터
활용 측명 보편적 지능 - 인간 수준의 인지, 사고 능력 학습
안정성 - 사람이 제어할 수 있는 환경에서 신뢰성 있는 답 도출
윤리기준 - 인간 사회 가치, 윤리와의 부합성 등

 

Ⅲ. 주요 초거대 AI 기술

기업 모델 설명
OpenAI GPT - 3.5 - 약 1750억개 파라미터
- 텍스트 입력에 추론 언어 모델
GPT - 4 - 텍스트, 이미지 입력 가능한 멀티모달 모델
카카오브레인 KoGPT - 한국어 특화 AI 언어모델
- 구글 TPU 활용 연산 고도화
네이버 하이퍼클로바 - 2040억개 파라미터
- 한국어 집중 학습
LG 엑사원 - 언어, 이미지, 영상 다루는 멀티모달 모델
- 제조, 연구, 교육, 금융 분야
반응형

'IT 기술 > 인공지능' 카테고리의 다른 글

전이학습  (0) 2024.10.24
XAI(eXplainable AI)  (1) 2024.10.24
RAG(Retrieval Augmented Generation)  (0) 2024.10.24
sLLM  (1) 2024.10.24
딥페이크  (0) 2024.10.24
반응형

Ⅰ. Hallucination 통제, RAG의 정의

- 대큐모 언어 모델의 출력을 최적화하여 응답을 생성하기 전 외부 지식 베이스를 참조하여 LLM 모델의 정확성과 신뢰성 향상시키는 프로세스

 

Ⅱ. RAG의 개념도 및 절차

가. RAG의 개념도

 

나. RAG의 절차

구분 절차 설명
검색 단계 질문 임베딩 - 사용자 입력 값 벡터 임베딩
- 데이터 검색을 위해 자연어를 벡터로 표현
유사성 검색 - 지식 베이스에서 유사한 데이터 검색
- 유사성이 높은 문서 목록 생성
관련도 순위 결정 - 가장 관련 높은 문서 순위 조정
- 메타데이터 필터링으로 관련 없는 정보 제외
생성 단계 추론 - 검색된 내용과 사용자 질문 바탕으로 프롬프트 구성
프롬프트엔지니어링 - 언어 모델이 검색된 정보 기반으로 질문에 답변할 수 있게 함
응답 생성 - 생성된 텍스트 문법 및 정확성과 일관성 확인 후처리

 

Ⅲ. RAG와 fine tuning 비교

구분 RAG fine tuning
이점 - 외부 데이터 접근
- 데이터의 최신성 유지
- 근거 확실한 데이터 기반
- 양질의 라벨링 데이터로 모델 품질 향상
- 데이터 업데이트가 빈번하지 않는 도메인에서 유용
도전 과제 - 관련 없는 문서 검색으로 낭비되는 시간 줄이기 위한 검색 모델 구축 필요 - 양질의 데이터가 없을 경우 모델 정확도 영향
활용 - 데이터 업데이트가 빈번한 도메인 - 특정 작업용 어플리케이션

 

반응형

'IT 기술 > 인공지능' 카테고리의 다른 글

XAI(eXplainable AI)  (1) 2024.10.24
초거대 AI  (1) 2024.10.24
sLLM  (1) 2024.10.24
딥페이크  (0) 2024.10.24
어텐션 매커니즘  (1) 2024.10.24
반응형

Ⅰ. sLLM 모델의 개요

가. sLLM 모델의 개념 및 특징

개념 - LLM 모델의 컴퓨팅 파워 문제, 특정 산업 특화 한계 보완위해 파라미터 수를 대폭 줄인 비교적 크기가 작은 언어 모델
특징 - 100억개 이하 파라미터 - 기존 LLM 모델 대비 작은 규모의 파라미터 학습
- Fine Tuning - Fine Tuning을 통한 정확도 향상
- 비용 절감 - 모델 학습에 요구되는 데이터, 시간, 비용 절감
- 신속한 구축 - Fine Tuning을 통해 신속한 구축 가능

 

나. sLLM 모델의 등장배경

구분 등장배경 설명
기술적
측면
- 클라우드 플랫폼 - 클라우드의 향상된 컴퓨팅 성능 활용
- 모델 경량화 - 모바일, IoT 등 저전력 장비에서 AI 학습
- 트랜스포머 구조 - 시계열 데이터에 대한 병렬처리로 빠른 학습 가능
비즈니스
측면
- 시간 및 비용 절감 - LLM 모델의 학습 및 유지비용의 천문학적인 지출
- 신속한 구축 - Fine Tuning을 통해 신속한 구축 가능
- 외부 데이터 유출 방지 - 자체 모델 구축을 통해 데이터 외부 유출 방지

 

Ⅱ. sLLM 모델 기술 요소

가. sLLM 모델 구축 매커니즘

 

나. sLLM 모델 기술 요소

구분 기술 요소 설명
모델 측명 - Pre-Trained 모델 - 사전 학습된 모델 기반 학습
- Fine tuning - 사전 학습 모델 기반 미세 조정으로 맞춤형 모델 개발
- 작은 모델 크기 - LLM 모델 대비 적은 파라미터 수
- 모델 경량화 - 엣지 컴퓨팅과 같은 제한된 리소스 환경에서 사용
데이터 측면 - Distillation data - 모델 효과적 개선 및 새로운 환경에 적용 가능
- Open-Source data - 모델과 데이터가 오픈 소스로 제공
- 데이터 증강 - 데이터 양이 제한적으로 기존 데이터를 다양하게 활용

- LLM 대비 적은 파라미터 기반 빠른 학습과 비용 절감 장점 존재

반응형

'IT 기술 > 인공지능' 카테고리의 다른 글

초거대 AI  (1) 2024.10.24
RAG(Retrieval Augmented Generation)  (0) 2024.10.24
딥페이크  (0) 2024.10.24
어텐션 매커니즘  (1) 2024.10.24
인공신경망  (2) 2024.10.11
반응형

Ⅰ. 딥페이크의 정의

- 딥러닝을 이용하여 기존 영상에 다른 영상이나 이미지 정보를 합성하여 가짜 콘텐츠를 생성하는 기법

(특징) GAN 기술을 활용하여 영상 합성하여 진위 식별이 어렵고 제작이 쉬움

 

Ⅱ. 딥페이크 생성절차 및 기술 요소

가. 딥페이크 생성절차

- 오토인코더로 특정 인물의 얼굴 생성 학습 후 GAN 이용하여 생성한 가짜 얼굴 합성

 

나. 딥페이크 기술 요소

구분 기술 상세 설명
학습 알고리즘 GAN - 생성자와 판별자가 경쟁하며 학습
- 생성자는 가짜 이미지 생성
- 판별자는 가짜 이미지 판별
생성 알고리즘 Autoencoder - 입력 데이터 압축하고 이를 바탕으로 원본과 유사한 형태로 복원
- 특정 인물 얼굴 학습 후 다른 인물 얼굴에 적용하여 합성
이미지 보정 가우시안 필터 - 가우시안 필터 활용하여 더욱 정교한 이미지 합성

 

Ⅲ. 딥페이크의 긍정적, 부정적 영향

구분 영향 상세 설명
긍정적 마케팅 광고 - 고객 맞춤형 콘텐츠 제작
- 콘텐츠 제작 비용 절감
교육 - 교육 몰입감과 상호작용 극대화
- 현실적이고 개인화 학습 경험 제공
부정적 기업 명성 손상 - 기업 대표나 임원의 가짜 발언 영상
- 제품 관련 허위 광고 영상 유포
고객 신뢰 상실 - 허위 광고, 제품 리뷰, 가짜 인터뷰
- 고객 혼란 야기 

- 딥페이크 모니터링 및 탐지 기술 도입으로 부정적 영향 예방 필요

반응형

'IT 기술 > 인공지능' 카테고리의 다른 글

RAG(Retrieval Augmented Generation)  (0) 2024.10.24
sLLM  (1) 2024.10.24
어텐션 매커니즘  (1) 2024.10.24
인공신경망  (2) 2024.10.11
생성형 인공지능 위험성, 할루시네이션  (1) 2024.10.11
반응형

Ⅰ. 단어간 상관관계 집중, 어텐션 매커니즘의 개요

가. 어텐션 매커니즘의 정의

- 언어모델에서 디코더의 출력 단어를 예측하는 매시점에 예측해야 할 단어와 연관이 있는 입력 단어에 좀 더 집중하도록 구조화하는 방법

 

나 .어텐션 매커니즘 등장 배경

RNN 기반 Seq2seq 모델 문제점

- 하나의 고정된 크기의 벡터에 모든 정보를 압축하여 정보손실 발생

- RNN의 고질적인 문제인 Vanishing Gradient Problem 존재

- 입력 데이터가 길어질때 성능 저하를 보정하기 위한 방법이 어텐션 기법

 

Ⅱ. 어텐션 매커니즘의 원리와 계산 과정

가. 어텐션 매커니즘의 원리

- Attention Value는 쿼리와 키의 유사도를 구하고 이 유사도를 반영하여 Value(값)에 적용한 값

- Attention Function은 주로 Dot-Product Attention, 즉 내적 연산 주로 사용

 

나. 어턴션 계산 과정

단계 과정 상세 설명
1 Attention Score 계산 - 쿼리와 키 사이의 유사도 계산
- 쿼리는 디코더의 t시점의 은닉 상태
- 키는 인코더의 모든 시점의 은닉 상태
2 Attention Distribution 계산 - 디코더의 t시점에 인코더의 각 시점의 정보가 얼마나 중요한지 계산
- 소프트맥스 함수 활용 합이 1이되는 확률 분포 계산
3 Attention Value 계산 - 어텐션 가중치와 인코더 값 곱한 후, 모든 인코더 시점에 대해 합산하여 어텐션 값 계산
4 Attention Value와 디코더의 은닉상태 연결 - 어텐션 값과 디코더의 t시점의 은닉상태 연결하여 새로운 입력으로 사용
반응형

'IT 기술 > 인공지능' 카테고리의 다른 글

sLLM  (1) 2024.10.24
딥페이크  (0) 2024.10.24
인공신경망  (2) 2024.10.11
생성형 인공지능 위험성, 할루시네이션  (1) 2024.10.11
하이퍼파라미터  (0) 2024.10.11

+ Recent posts