-
Notifications
You must be signed in to change notification settings - Fork 0
(08.30) W07_L02 Probability Theorems
진구(2018.08.30)
확통 중 베이지안에 들어갈만한 부분 총복습하는 수업이었다.
대부분 아는 내용이었지만, 또 들으면 뭔가를 또 배운다.
독립인 변수에 대해서는 indifferent하다 라고 한다는 것도 배웠고. 마침 뭐라 부르지? 라고 생각했었는데 ㅎㅎ
지능, 노력, 학점 -> 성공 간의 도표를 보니까 왜 일단 joint로 하고 필요에 따라 marginalization하는지도 감이 왔다.
저렇게 관리해야 관리하기가 더 편할 것 같다는 느낌. 그런데 feature하나 추가 될 때마다 표가 *2 되므로 제한된 리소스를 사용한다면 늘리는 것도 신중해야 겠다.
매우 중요한 개념인 독립도 다뤄주셨는데 들을 때마다 헷갈리는 거지만 marginal independent = (just) independent이다.
P(A|B) = P(A) 가 더 본질적인 독립의 개념이지만 P(B)가 0이 되어 버리면 나누면서 문제가 생기니 독립의 정의를 P(AㅅB) = P(A)P(B)로 하는 것 같다는 생각을 했다. ㅅ 저거 교집합 ㅎㅎ :)
쓰고 보니 은근 배운게 많은 수업이었다. ㅎㅎ
승관(2018.08.30)
- Joint distribution : 파라미터스수가 급격하게 늘어난다.
- Joint Probability : 원하는 숫자를 관심있는 확률에 질문을 던져 볼 수 있다.
- Conditional independence : C가 주어진 상황에서는 다른 이벤트와 독립이 된다.
성빈(2018.08.30):
Total probability
조인트나 컨디셔널을 알면 개별 특정 variable에 대해 알수 있단다
예시가 없으면 잘 모르겠다
1/P(b)의 형태는 Normalization constant처럼 취급할 수 있다고 한다.
Joint의 경우 파라미터가 급격하게 늘어난다
Chain rule에 의해 조인트 형은 곱의 형태로 나타낼 수 있다
Joint Probability Distribution 의 예시에 의하면
머리가 좋지만 노력을 하지않고 학점이 나쁠때 대학원에서 성공할 확률이 0.3으로 가장 높았다 똑똑하다는 가정하에 당분간 좀 놀아야겠다.
아무튼 예시를 통해서 보니 이해가 좀 됬다.
Independence 부분은 예전 앞부분강의와 똑같았다\
민규(2018.08.30):
확률의 다양한 성질을 배웠다.
먼저, law of total probability는 joint probability의 어떤 R.V를 모두 더해서 남은 R.V에 대한 확률로 만들 수 있다.
이를 통해 다양한 경우에 활용할 수 있는데 그 중 하나는 marginal probability를 구할 수 있고,
또 하나는 1/P(b)를 normalization 상수로 하는 어떤 조건부 확률을 만들 수 있다.(슬라이드의 예시)
한편, joint probability는 다수의 R.V에 대한 조합을 고려해야하기 때문에 파라미터 개수가 많다.
또한, 중요한 성질 중 하나인 chain rule(Factorization)이 있다.
이는 joint probability를 반복적으로 조건부확률에 대한 factor를 만들어 연쇄적으로 곱해지는 방식이다.
딥러닝에서 back-propagation으로 응용되는 중요한 성질이다.
이후 간단한 예제를 보았고 다음으로 independence이다. R.V 간의 independent가 되면 joint probability는 단순 두 확률의 곱이 된다는 편리한 성질이 있다. 이로 인해 조건부 확률 또한 조건부 항이 사라져 간단해진다.
그리고 conditional independence를 복습했다. 확률에 대한 기본 성질들을 복습했는데 아마 챕터7에 중요하게 사용되기 위함인 것 같다.
대하(2018.08.30):
이번 시간에는 매우매우 중요한 joint probability와 marginalize out에 대해서 알아보았다.
앞으로 이 두 개념 및 수식 전개는 딥 러닝 혹은 머신 러닝에서 다양한 모델들의 확률 값을 분석하는데 사용하므로 매우 중요한 개념이 되겠다.
특히 딥 러닝에서 generative model(e.g. GAN) 쪽이라면 더더욱 중요한 부분인 것 같다.
기본 개념 설명은 생략하고, 이게 어디에 쓰이는지 하나의 예를 살펴보자.
예를 들어, 딥 러닝 혹은 머신 러닝 모델 중에서 값을 결정내리는 model, 즉 discriminative model의 경우에는
데이터가(x) 들어와 중간 은닉 변수(z) 혹은 최종 prediction score(y)를 얻게 된다.
이를 조건부 확률로 표현하면 아래와 같다.
- p(y|x)
- p(z|x)
만일 무언가가 생성되는 generative model을 생각한다면 아래와 같이 조건부 확률로 표현할 수 있다.
- p(z|x)
또한 연속된 model의 확률을 나타낼 때는 아래와 같이 표현 가능하다.
- P(x) = p(x|z2)p(z2|z1)p(z1|x)
앞으로 7장을 공부하면서 이런 수식에 친숙해지는 것이 중요하다고 생각된다.