반응형

IT 기술/인공지능 39

sLLM

Ⅰ. sLLM 모델의 개요가. sLLM 모델의 개념 및 특징개념- LLM 모델의 컴퓨팅 파워 문제, 특정 산업 특화 한계 보완위해 파라미터 수를 대폭 줄인 비교적 크기가 작은 언어 모델특징- 100억개 이하 파라미터- 기존 LLM 모델 대비 작은 규모의 파라미터 학습- Fine Tuning- Fine Tuning을 통한 정확도 향상- 비용 절감- 모델 학습에 요구되는 데이터, 시간, 비용 절감- 신속한 구축- Fine Tuning을 통해 신속한 구축 가능 나. sLLM 모델의 등장배경구분등장배경설명기술적측면- 클라우드 플랫폼- 클라우드의 향상된 컴퓨팅 성능 활용- 모델 경량화- 모바일, IoT 등 저전력 장비에서 AI 학습- 트랜스포머 구조- 시계열 데이터에 대한 병렬처리로 빠른 학습 가능비즈니스측면- ..

딥페이크

Ⅰ. 딥페이크의 정의- 딥러닝을 이용하여 기존 영상에 다른 영상이나 이미지 정보를 합성하여 가짜 콘텐츠를 생성하는 기법(특징) GAN 기술을 활용하여 영상 합성하여 진위 식별이 어렵고 제작이 쉬움 Ⅱ. 딥페이크 생성절차 및 기술 요소가. 딥페이크 생성절차- 오토인코더로 특정 인물의 얼굴 생성 학습 후 GAN 이용하여 생성한 가짜 얼굴 합성 나. 딥페이크 기술 요소구분기술상세 설명학습 알고리즘GAN- 생성자와 판별자가 경쟁하며 학습- 생성자는 가짜 이미지 생성- 판별자는 가짜 이미지 판별생성 알고리즘Autoencoder- 입력 데이터 압축하고 이를 바탕으로 원본과 유사한 형태로 복원- 특정 인물 얼굴 학습 후 다른 인물 얼굴에 적용하여 합성이미지 보정가우시안 필터- 가우시안 필터 활용하여 더욱 정교한 이미..

어텐션 매커니즘

Ⅰ. 단어간 상관관계 집중, 어텐션 매커니즘의 개요가. 어텐션 매커니즘의 정의- 언어모델에서 디코더의 출력 단어를 예측하는 매시점에 예측해야 할 단어와 연관이 있는 입력 단어에 좀 더 집중하도록 구조화하는 방법 나 .어텐션 매커니즘 등장 배경RNN 기반 Seq2seq 모델 문제점- 하나의 고정된 크기의 벡터에 모든 정보를 압축하여 정보손실 발생- RNN의 고질적인 문제인 Vanishing Gradient Problem 존재- 입력 데이터가 길어질때 성능 저하를 보정하기 위한 방법이 어텐션 기법 Ⅱ. 어텐션 매커니즘의 원리와 계산 과정가. 어텐션 매커니즘의 원리- Attention Value는 쿼리와 키의 유사도를 구하고 이 유사도를 반영하여 Value(값)에 적용한 값- Attention Function..

인공신경망

Ⅰ. 인공신경망의 개념, 구성요소, 역할가. 인공신경망의 개념- 인간두뇌 세포를 모방하여 뉴런들의 상호작용과 경험을 통해 반복학습하는 과정을 모형화하는 분석 기법 나. 인공신경망 구성요소 및 역할구조구성요소역할input layer입력값- 모델 학습을 위한 학습 데이터hidden layer가중치- 활성화 함수의 입력값으로 사용되는 뉴런간 연결 계수활성화 함수- 임계값을 이용 뉴런의 활성화 여부를 결정하는 함수output layer출력값- 학습을 통해 도출된 결과값 Ⅱ. 피드포워드 뉴럴 네트워크 개념 및 절차가. 피드포워드 뉴럴 네트워크의 개념- 인공신경망의 최초의 가장 단순한 형태로 입력층에서 출력층으로 단 방향으로 진행하며 학습하는 모델 나. 피드포워드 뉴럴 네트워크 절차구분절차순전파1) 학습 데이터 입..

생성형 인공지능 위험성, 할루시네이션

Ⅰ. 생성형 인공지능 개념과 기술요소가. 생성형 인공지능의 개념- 이용자가 요구한 질물이나 과제 해결을 위해 스스로 데이터를 찾아 학습하고 능동적으로 결과물을 제시하는 진화한 인공지능 나. 생성형 인공지능의 기술 요소구분기술 요소설명데이터벡터 데이터베이스- AI 모델이 생성한 벡터를 저장하고 검색- AI 모델의 출력을 저장, 사용자가 쿼리 사용합성 데이터- 실제 데이터를 모방한 인공적으로 생성된 데이터- 실제 데이터 사용 불가능 시 주로 사용데이터 라벨링- 신뢰도 높은 모델 학습을 위한 데이터 라벨링모델기반 모델- 대규모 데이터셋 학습 가능한 범용 AI 모델- GPT3와 같은 대규모 언어 모델이 대표적모델 감독- AI 모델의 동작 모니터링 및 설명- AI 모델이 편향되지 않는지 감독 수행모델 안전성- 생..

하이퍼파라미터

Ⅰ. 효율적 학습을 위한 파라미터와 하이퍼파라미터 비교가. 파라미터와 하이퍼파라미터 개념 비교구분파라미터하이퍼파라미터개념주어진 데이터로부터 학습을 통해 모델 내부에서 결정되는 변수최적의 모델링을 위해 사용자가 직접 설정해주는 변수개념도- 파라미터는 모델에 의해 결정, 하이퍼파라미터는 휴리스틱 기반 직접 설정 나. 파라미터와 하이퍼파라미터 특징 비교구분파라미터하이퍼파라미터목적- 최적화된 딥러닝 모델 구현- 모델링 최적화 파라미터 값 도출생성 주체- 데이터를 학습한 모델이 생성- 사용자가 판단하여 직접 생성종류- 인공신경망 가중치- SVM에서 서포트 벡터- 선형회귀에서 결정계수- 학습률- 경사하강법 반복 횟수- 활성화 함수조정 여부- 파라미터 임의 조정 불가- 하이퍼파라미터 조정 가능- 하이퍼파라미터 튜닝을..

머신러닝 파이프라인

Ⅰ. 머신러닝 파이프라인의 개요가. 머신러닝 파이프라인의 개념- 데이터 수집부터 전처리, 학습 모델 배포, 예측까지 전 과정을 순차적으로 처리하도록설계된 머신러닝 아키텍처 나. 머신러닝 파이프라인의 필요성머신러닝 자동화: 머신러닝 모델 전 과정 지속 수행 위한 파이프라인 기반 자동화예측 정확성 향상: 내부 구조 이해를 통한 머신러닝 성능 향상지속적인 개선: 파이프라인을 통한 신규 데이터 재학습 및 모델 개선 Ⅱ. 머신러닝 파이프라인 데이터 처리 흐름 및 주요 활동가. 머신러닝 파이프라인 데이터 처리 흐름 나. 머신러닝 파이프라인 주요활동단계활동세부 설명데이터 수집ETL 적용- 기존 데이터 소스에서 데이터 수집- 다운로드 데이터, 데이터 소스 추출데이터 레이크- 다양한 Raw 데이터 실시간 수집, 전처리,..

인공지능 모델의 성능평가

Ⅰ. 인공지능 모델 성능평가의 정의- 실제값과 모델에 의해 예측된 값을 비교하여 두 값의 차이를 구하여 모델의 성능을 평가 Ⅱ. 인공지능 모델 성능평가 방법구분평가 방법설명예측 모델MSEMean Squared Error, 실제값과 예측값의 차이를 제곱해 평균RMSERoot Mean Squared Error, 실제값과 예측값의 차이 제곱 평균에 루트를 씌움MAEMean Absolute Error, 실제값과 예측값의 차이를 절댓값으로 변환해 평균MAPEMean Absolute Percentage Error, 실제값과 예측값 차이 비율 절대값 백분율분류 모델정확도전체 데이터 중 정확하게 예측한 데이터의 수 TP+TN / TP+TN+FP+FN정밀도(precision)참으로 판단한 것 중 진짜 참인 비율, TP ..

차원의 저주, 차원 축소 알고리즘

Ⅰ. 차원의 저주- 차원이 커질수록 데이터가 Sparse하게 존재하여 학습 데이터의 대표성을 잃고 모델 학습 성능을 저하시키는 현상 Ⅱ. 차원 축소 알고리즘기법개념도설명PCA(PrincipalComponentAnalysis)- 데이터를 축에 사영했을 때 가장 높은 분산을 가지는 데이터의 축을 찾아 그 축으로 차원을 축소ICA(IndependentComponentAnalysis)- 다변량의 신호를 통계적으로 독립적인 하부 성분으로 분리하는 계산 방법- 독립성이 최대가 되는 벡터를 찾는다LDA(Linear DiscriminantAnalysis)- PCA와 다르게 클래스 분류까지 쉽게 할 수 있도록 차원 축소- 클래스 내부 분산은 작게, 클래스 간 분산은 크게 만들어 내는 축으로 축소SVD(SingularVa..

머신러닝과 딥러닝 차이

Ⅰ. 머신러닝과 딥러닝의 차이가. 머신러닝과 딥러닝 학습 과정 차이 나. 머신러닝과 딥러닝 상세 차이구분머신러닝딥러닝개념- 기계에 데이터를 학습시키고 패턴, 통계적 규칙을 이용하여 예측, 분류, 판단 등의 작업을 수행하는 방법론- 머신러닝의 한 분야로, 인공 신경망 기반으로 다수의 은닉층을 가진 복잡한 패턴의 모델을 구축 및 학습하고 의사결정을 내리는 방법론데이터- 작은 규모의 데이터셋 학습 가능- 학습 전 데이터 정제, 특징 추출 필요- 대량의 데이터셋 학습에 필요- 데이터 정제 및 특징 추출 모델이 자체 수행자원- 한정된 하드웨어 자원으로도 수행 가능- 일반적인 CPU에서도 잘 동작- 많은 하드웨어 자원 요구- GPU나 TPU 같은 고성능 하드웨어 요구모델- 주로 선형적인 관계 표현- 의사결정 트리,..

반응형