(10.16) W10_L07 Gibbs Sampling

https://youtu.be/Q9EYGw5QbHc

---

진구(2018.10.16)
어제 배운 메트로폴리스 헤이스팅스 알고리즘이 Accept Prob.이 필요한 이유는 proposal distribution을 잘 모르기 때문이었다.
깁스는 이 문제에 대해 p가 있는데 p를 써서 q를 잘 정의하면 Accept Prob. = 1이 되어 알파를 따로 정의해줄 필요가 없다고 주장했다.
깁스 샘플링은 메트로폴리스 헤이스팅스 알고리즘의 스페셜케이스라고 볼 수 있다 (A.P. =1)
예시에서 보면 구하려는 z만 뺀 나머지 z들을 given으로 받고 구해서 쓰는데 개념이 상당히 간결하다.
GMM에 잘 쓰지는 않는데 쓸 수도 있다고 한다.
EM과 비교하면 converge는 EM이 빠르지만 최종 정확도는 깁스 샘플링이 좀더 높은 경향이 있다고 한다.
마지막에 베리에이셔널 인퍼런스가 EM기반에서 또 발전해서 깁스 샘플링과 함께 두 축을 이루고 있다고 언급하셨다.

---

성빈(2018.10.16):
Gibbs sampling - MH 의 스페셜케이스란다 ㅋ
한 레이턴트 베리어블에 대해서만 업데이트 함
q를 잘알려진 p를 통해 구하기 때문에 Accept probability가 없어진다
-> 항상 balance equation 만족함
위에 말한 mh의 스페셜케이스라는게 mh 중 Accept probability가 필요없는 경우
라는것 같다.
예시로 보여줬는데, z1, z2, z3들이 각각 업데이트 되는것을 봤다.
가우시안 믹스처에는 적용을 할수는 있지만 별로란다

---