(09.14) W08_L04 Multi variate Gaussian Distribution

https://www.youtube.com/watch?v=eXHvbZLi1-I

---

대하(2018.09.14):
이번 강의에서는 univariate gaussian distribution과 multi-variate gaussian distribution에 대해 살펴보았다.
그 이후에는 covariance matrix를 시각화하여 covariance matrix가 갖는 특징에 대해 살펴보았다.

cov. matrix가 numpy.array([1,1], [1,1])일 경우에는 일직선 상으로 y=x 그래프와 같이 2차원 축에서 분포가 존재한다.
하지만 만일 ([1,0],[0,1])인 경우에는 한 점을 중심으로 몰려있는 데이터 분포를 확인할 수 있다.
여기서 알 수 있는 사실은 diagonal 성분은 분포의 방향의 정도를 나타낸다는 것을 알 수 있었다.
(왜냐면 eigvalue를 구해보면 diagonal 성분으로부터 도출되므로)

그 이후에는 드디어 mixture model을 배웠다.
Mixture model은 아래와 같이 modeling된다.
P(x) = signal(π * N(x | μ,σ)) (k=1, ..., K) - (1)
여기서 π는 mixing coefficient이고, N(-)은 gaussian distribution이다.

또한 식 (1)은 아래와 같이 정리할 수 있다.
P(x) = sigma(P(z)P(x|z)) - (2)
식 (2)는 마치 MAP를 보는듯하다!!

실제로도 MAP과 비슷한 concept으로 mixture model이 구성되었음을 확인할 수 있다.

---

승관찡(2018.09.14):

• Multivariate Gaussian Distributhon : 코베리언스 Metrix가 중요하다.

[1 1] [1 1]

• 분산값 1이 존재하고 1이라는 분산값이 존재한다.

[0 0] [0 0]

• 분산이 없어 한 포인트에 모인다.

[1 0] [0 0]

• 1로 선택된 한 Dimension에 대해서만 분산이 존재

[1 0] [0 1]

• Co-relation이 0이다. 관련성 없는 원의 형태이다.

[5 0] [1 0] [0 1] [0 5]

• 특정 Dimension에 조금 더 높은 Variance 를 갖는다.

[2 1] [2 -1] [1 2] [-1 2]

• Variance 가 있으면서 Co-relation 또는 Nagative Co-relation이 있다.

• 두개의 Distribution을 Mixture Model로 연결시켜 줄 수 있다.

• Subpopulation이 존재한다. 즉 각각의 근원에서 온 Population이 합쳐져서 하나의 Poulation이 된다.

• Mixing coefficients : K개의 Normal을 Mixing 한 것이다.

• Mixture component : Subpopulation에 대해서 Fitting된 Distribution이다.

---

성빈(09.14):
Multivariate Gaussian distribution\

다차원이기 때문에 Covariance matrix가 됨
Loglikelyhood를 만들어 optimization 함
u와 covariance에 대해 estimation해야함
Covariance Matrix에 따라 분포가 변함
Covariance에 의해 Shape를 다양하게 표현할 수 있음
소스가 다른 데이터가 mixing 되어있을때 하나로 모델링 하는 것 - Mixture model
weighting과 유사하게 mixing coefficients가 작용한다.

---

민규(2018.09.14):
이번 강의는 아직 재료를 준비하는 단계이다. 지난 시간에 multinomial 분포을 배웠다면 이번에는 multivariate gaussian 분포, mixture 분포에 대해 배웠다. Multivariate gaussian 분포는 우리가 이전에 알고있던 normal분포의 차원을 확장한 것 뿐이다.
뮤는 평균, 시그마는 covariance 행렬이다. 이 식을 log-likelihood 형태로 취하고 미분하여 최적의 뮤값과 시그마 값을 찾을 수 있다.
이 떄 사용하는 방법은 trace trick인데 이 키워드를 다음에 찾아봐야겠다.
이후 covariance 행렬에 대한 시각화 예시를 통해서 이해하기 쉽게 설명해주셨다. 항상 covariance라는 말을 들을 때 애매했지만 이 설명을 통해 직관적으로 이해할 수 있었다.
마지막으로 mixture 모델은 서로 다른 종류의 확률분포로 이루어진 어떤 분포를 나타내기 위한 방법이다.
수식으로 모델링하면, 서로 다른 확률분포에 적절한 weight를 줘서 더하는 식으로 표현할 수 있다.
이 때, 이 weight는 이전 시간에 배운 multinomial 분포로 모델링하여 K개 중 한개의 옵션으로 선택되어지는 것을 나타낼 수 있다.
이것은 mixing coefficient라고 한다. 그리고 mixture component는 개별 확률 분포(여기서는 normal 분포)라고 할 수 있다.
이것으로 밑재료를 모두 배웠으며 다음시간에는 이를 활용하여 k-means clustering을 보완할 것이다.

---

진구(2018.09.14)
k-mean 강의 들으면서 어 이런게 있으면 좋겠다 했는데 역시 있었다..
코베리언스는 이해했다가도 약간 각도를 틀어서 보면 어렵다.
원종훈 교수님 수업들었을 때 평균을 맞춰서 바이어스를 없애준 코릴레이션이라는 설명을 들었을 때 이해가 잘 되었었는데, 또 코베리언스 매트릭스로 보면 헷갈리고...

---