(10.08) W10_L02 Rejection Sampling

https://www.youtube.com/watch?v=UcrLWckwvI8&list=PLbhbGI_ppZISMV4tAWHlytBqNq1-lb8bz&index=63

---

대하(2018.10.08):
지난 주에 이어서 sampling based method 중 rejection sampling에 대해서 알아보았다.
normal gaussian에서 forward 영역을 제외한 부분이 rejection sampling 이라고 하였는데,
어느 정도 개념은 알겠지만 GMM에서 적용이 되는 부분을 자세히는 모르겠다...

나중에 한번 따로 찾아봐야겠다..

---

진구(2018.10.08):
rejection이 왜 rejection인가 했더니 given들을 충족하지 않은 것들은 아예 reject해서 필터링 효과가 나게 해서 rejection sampling이었다.
중요한 것은 어느정도 인벨로프로 잘 감싸져 있어야 샘플링이 잘 되고 만약 인벨로프 바깥으로 봉우리가 나오게 되면 언더샘플링 된다.
여러 가우시안이 합쳐진 GMM같은 경우 적어도 mu 정도는 잘 맞춰주어야 샘플링이 잘 된다고 한다.
그렇지 않고 mu를 못 맞추겠으면 싱글 가우시안으로 해놓고 std를 크게 가져가는 방법도 있는데 이렇게 하면 딱봐도 영역이 확 넓어지기 때문에 더 많은 연산이 필요하게 되고 빅데이터 상황에서는 쓸수 없는 모델이 된다고 한다.

---

성빈(2018.10.08):
rejection sampling
-> 약간의 조건을 갖추고 샘플링하자
Iteration을 여러번 진행 (iteration을 하면서 주어진 조건과 부합하는지 확인하고 조건과
다르다면 다시 진행)
-> 전체 샘플수로 나누어 확률 추정

M이 Accept region을 충분히 Envelope 하지 않는다면 할 수 없기 때문에
M이 충분히 커야 한다. 하지만 M이 커지면 Rejection 되는 부분이 많아지기 때문에
시간이 많이 걸린다는 단점이 여전히 존재한다.
GMM에서 사용할때는 모양을 비슷하게 envelope 해야된다는것같다...

---

승관(2018.10.09):

• Rejection Sampling은 Iteration을 여러번 해야 한다.

• E가 True인 샘플의 갯수 / 전체 샘플의 갯수 = Rejection Sampling

• Rejection Sampling을 만족하기 위해서는 M이 커져야 한다.

• Rejection Sampling도 여전히 속도적인 문제가 있고 현실에서 쓰기 어렵다.

---