머신러닝/불확실성 4

Adversarial Attacks and Defenses

Adversarial Attack Adversarial Attack과 Defense를 설명하기 위해 아래 그림을 인용하는 것이 가장 직관적으로 이해하기 쉬울 것 같습니다. 위 그림을 우리 눈으로 보면 좌, 우측에 판다가 있고 중앙에 노이즈처럼 생긴 그림이 있습니다.. 문제는 좌측의 판다를 57.7%의 신뢰도로 "판다"라고 분류 가능한 분류기가 있다고 가정할 때, 공격자는 중앙에 보이는 것과 같은 노이즈를 주어 우측 판다 이미지를 합성하게 됩니다. 그 결과 우측 판다 이미지는 우리에게는 여전히 "판다" 이미지로 보이지만 이전의 동일한 분류기로 이미지 식별 결과 99.3%의 신뢰도로 "긴팔원숭이"로 판단하게 된다는 것 입니다. 즉, 사람이 구분할 수 없는 노이즈를 이미지에 합성시켜 인공지능이 잘못된 예측을 ..

Information Theory (Entropy / Cross-Entropy / KL-Divergence)

Machine Learning을 공부하다 보면 Entropy, Cross-Entropy, KL-Divergence 등의 용어들이 자주 사용되는데 이러한 개념들은 모두 정보 이론(Information Theory)에서 온 것입니다. 본 포스팅에서는 정보 이론의 기본부터 위 용어들에 대해서 간단하게 정리하도록 하겠습니다. 정보 이론의 핵심은 정보(Information)입니다. 정보라는 뜻은 흔히 우리가 알고 사용하는 의미와 동일하게 내가 알고 있는 지식이나 책이나 인터넷을 통해서 얻을 수 있는 지식을 뜻 합니다. 정보 이론에서는 이러한 정보를 수학적으로 표현하였습니다. 여기서 가장 중요한 개념은 잘 일어나지 않는 사건(Unlikely event)은 자주 발생하는 사건보다 정보량이 많다(Informative)..

불확실성 (Uncertainty)

본 포스트는 Eric Jang의 블로그 게시글을 번역하였습니다. 전문 번역가가 아닌 개인적인 공부 목적이기 때문에 이해가 안가시는 부분은 원문을 읽으시면 도움이 될 것 같습니다. 불확실성(Uncertainty)은 AI safety, risk management, portfolio optimization, scientific measurement, 그리고 insurance와 같은 분야에서 자주 언급이 됩니다. 예를 들어 보면, "기계학습(머신러닝) 모델이 무엇을 모르는지를 스스로 알기를 원한다" "AI가 환자의 증상과 조치에 대해 추천을 할 때, 그것이 어느정도로 신뢰 가능한 정보인지를 우리에게 알려줄 책임이 있다" "Scientific calculations에서 significant figures는 측정..

베이즈 정리(Bayes theorem)

"베이즈 정리" 또는 "Bayes theorem"이라는 단어는 아주 낯설고 왠지 모르게 어려울 것 같습니다... 하지만, 어렵다고 무시할 수 없는 중요한 개념이기 때문에 공부할겸 포스팅 하게 되었습니다. 사실 베이즈 정리는 조건부 확률이고 우린 고등학교 때 그 개념에 대해서 대강 배웠습니다. 그렇다면 구글에 널리고 널린 좋은 자료들을 참고해서 베이즈 정리에 대해서 정리해보겠습니다. Introduction of Bayes Theorem베이즈 정리는 조건부 확률에 대한 수학적 수식으로써 데이터 과학 분야에서 정말 중요한 개념입니다. 대표적인 예로는 통계적 추론에 대한 접근법인 Bayesian inference가 있습니다. Problem StatementX, Y 두개의 그릇에 오랜지와 블루베리가 채워져있다고 ..