(10.10) W10_L03 Importance Sampling

https://www.youtube.com/watch?v=P-DOvcRpzR0&list=PLbhbGI_ppZISMV4tAWHlytBqNq1-lb8bz&index=64

---

대하(2018.10.10):
샘플링 방법 중에서 forwar와 rejection을 잘 융합한 방법인 importance sampling에 대해 배웠다.
이는 다음 강의인 gibbs sampling을 배우기 위한 발판이라고 생각된다.

그리고 아래 진구 말처럼 적분이 어려운 곳에서 샘플링만으로 기대값을 구할 수 있다는 장점때문에 많이 사용되는 것 같다.
상황에 따라서 적분이 힘든 경우는 대표적으로 아래와 같다.

• closed form solution을 구하기 힘든 경우
• 적분 연산량이 너무 많을 경우

이제 대망의 gibbs sampling을 배우고 ML study를 졸업할 날이 얼마 남지 않았다 ㅎㅎ

---

진구(2018.10.10):
포워드, 리젝션에 이어 임포턴스 샘플링을 배웠다.
이 모든 건 앞으로 샘플링 베이스드 인퍼런스를 하기 위해 배우는 것이었다.
익스펙테이션 등의 값만 구하기 원하는데 모든 분포를 다 자세히 알 필요는 없다는 점에서 임포턴스 샘플링은 출발한다.
통계학자들이 자주 쓰는 테크닉인 같은거 곱하고 나눠주는 테크닉을 써서 식을 정리하고 샘플링해서 구한다.\

가우시안 믹스처 모델 등의 적분이 어려운 곳에서 샘플링만으로 구할 수 있어서 그런 쪽에서 쓴다고 한다.

---

성빈(2018.10.10):
Reject 없이 샘플링 할 수 없을까? -> importance sampling
Expectation, probability 계산
얼마만큼 잘 일어날수 있는지에 대해 생각해서 sampling weight를 곱해준다
sumSw/NormSW해준다;;;;

---

승관(2018.10.10):

• Reject 없이 할수 있는 샘플링을 목표로 만든 것이 Importance Sampling 이다.

• Expactation을 계산하거나, Probability를 계산하는 것을 목표로 한다.

---