deep learning 4

AI / 머신러닝 / 딥러닝

Artificial Intelligence 인간의 학습능력, 추론능력, 지각능력을에 인공적으로 구현하려는 컴퓨터과학의 세부분야 - 위키백과 A program that can think like human or act rationally - Russell & Norvig 가장 먼저 연구가 시작된 분야로 머신러닝과 딥러닝을 포함하는 가장 폭 넓은 분야라고 할 수 있습니다. Russell 교수님은 다음 4가지 관점으로 AI를 정의하였고 각 관점에서의 AI를 해석하면 다음과 같습니다. Acting Humanly Turing Test: 테스터는 컴퓨터와 사람에게 동일한 질문에 대한 답을 듣고 컴퓨터와 사람을 구분할 수 있는가? 즉, 사람같이 행동(대답)함으로 이를 인공지능이라고 정의할 수 있습니다. Thinkin..

[논문 리뷰] EfficientNetV2: Smaller Models and Faster Training

약 2년 전 공개했었던 EfficientNet은 다른 모델들에 비해 빠른 학습 속도와 좋은 성능으로 Image classification 분야에서 활발하게 활용되었습니다. 그리고 최근 구글에서 기존의 EfficientNet과 비교해서 학습 속도와 정확도를 더욱 개선한 EfficientNet V2를 발표했습니다. 기존의 모델에 비해서 빠른 학습 속도를 보여준다고 하는데 해당 논문의 핵심 부분만 간략하게 정리해보도록 하겠습니다. EfficientNet ? 네트워크의 파라미터 수를 감소시키면 모델이 작아지고 그에 따라서 메모리에 쉽게 올릴 수 있는 등 다양한 이점이 있습니다. 하지만 파라미터 수를 감소시키면 모델의 성능 또한 감소한다는 문제점이 발생합니다. 그렇기 때문에 성능 감소 없이 파라미터 수를 최소화하..

논문 리뷰 2021.05.16 (1)

The Lottery Ticket Hypothesis

ICLR 2019에서 Best Paper에 선정된 "The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural" 논문에 대한 정리입니다. 이 논문은 Network Pruning에 관련된 논문으로 pruning은 쉽게 말해 뉴럴 네트워크의 사이즈를 줄이는 방법을 말합니다. 네트워크의 pruning을 위해서는 pre-trained 된 네트워크에서 불필요한 연결을 제거하여 네트워크의 사이즈를 줄임으로써 기존의 네트워크와 동일한 정확도를 유지하면서도 더 빠른 처리 속도를 얻기 위해 사용되는 기법입니다. Pruning에 대해서는 1990년도의 Yann Lecun 교수님의 논문 "Optimal Brain Damage"에서 처음 다루어졌습니다. 오늘 소개할 논문..

머신러닝/Vision 2019.06.24 (4)

Convolutional Neural Networks ?

해당 글은 Adit Deshpande의 블로그에 게제되어 있는 "A Beginner's Guide To Understanding Convolutional Neural Networks"를 개인 공부 목적으로 한글로 재작성한 것 입니다. 원문을 읽으시는게 문맥상이나 모든면에서 훨씬 이해가 쉬울 수 있습니다. IntroductionConvolutional neural networks, CNN은 AI, 특히 Deep Learning이 다시 관심을 받고 이렇게 발전할 수 있게 만들어준, 그 만큼 기본적이고 중요한 모델이다. 2012년에 ImageNet competition(computer vision 분야의 올림픽이라 할 수 있는 큰 대회)에서 Alex Krizhevsky에 의해 사용되었고, 이미지 분류 오류율을..

머신러닝/Vision 2018.09.05