-
Notifications
You must be signed in to change notification settings - Fork 0
(07.19) W03_L01_OptimalClassification
https://www.youtube.com/watch?v=ndvZKwZw5tQ&list=PLt9QR0WkC4WVszuogbmIIHIIQ2RMI78RC&index=11
진구(2018.07.19)
미국에서의 마지막 강의다 .. 헥헥(여긴 아틀란타공항)ㅋㅋ
- 리니어 리그레션이 한 강만에 끝나고 새로운 bayes classification 이 시작되었다. 교수님 말로는 이거 잘하면 리니어 리그레션도 잘할거라고..
- 리니어한게 잡음에 강인해서 좋다는 얘기 듣다가 점선-실선 그래프 보니 당연하 선형인 점선이 좋은 줄 알았는데 듣다보니 실선이 좋은 거렸음.. 그게 확률 분포이므로 당연히 오차 적고 차이 많이 나는 실선 드래프가 좋다.
- 그 점선 실선 차이 이야기 하실 때 계속 끊어가면서 설명하셨는데 그래서 다른 생각을 좀 했다. 아니 저기 저 차이가 막 커보이진 않는데 그렇게 중요한가? 이런 생각이었는데, 결론적으로 우리는 대학원생(또는 예비)들이고 전문가의 길로 가고 있는 것이기 때문에 저런 작은 차이, 어떻게 하면 조금이라도 더 성능을 올릴까 어떻게 하면 조금이라도 더 정확하게 할까? 하는 고민이 매우 중요하다는 생각을 했다.
- 베이지안은 기본적으로 모르는것 <-> 아는 것 스위칭이 가능하기에(뭐 하나라도 알긴 해야함 ㅎㅎ) 강력하다.
- 근데 여러개면 어떡하지? 하는데 다음 강의에서 알려 주신단다. 거의 카페베네급...ㅋㅋㅋ
성빈(2019.07.19) 이번시간에는 Optimal classification에 대해 알아봤다 설명을 해주셨지만 언어능력이 떨어지는지 무슨말인지 모르겠고 여러번 반복해서 듣다가 그냥 "X 값이 주어질 때 그에대한 확률분포에 따라서 어떤 Y인지 판별하는 것" 이라고 생각하기로 했다. 실선vs점선 문제에서는 중간점을 기준으로 값이 급격하게 변해야 차이가 커지기때문에 좋다라고 했다. 예전에 배웠던 classification에 softmax함수를 사용하는 이유와도 관계가 있는건가? 베이스룰은 첫강에서도 말했다시피 X|Y 나 Y|X중 하나만 알면 뒤에 prior만 붙이면 다 알수 있어서 좋다고했다. 졸림
대하(2019.07.19) 우리는 이번 강의에서 매우 중요한 classifier를 공부하였다. Bayes classifier인데 이는 어떤 경우에 사용할까? 다음과 같다.
총 10개 class를 갖는 데이터에서 하나의 class에는 100개의 특징 정보가 존재한다고 하자. 이럴 경우 10번째 class를 분류하려면 아래와 같은 확률을 높여야 한다.
P(C_10 | x_1, x_2, ..., x_100) - (1)
식 (1)에서 조건부 확률을 분석하기는 쉽지 않다!! 따라서 이를 좀 더 쉽게 해결하기 위해서 Bayes rule을 사용한다.
P(C_10 | x_1, x_2, ..., x_100) = 1/N * P(C_10) * PI(n=1~100)( P(x_n | C_10) ) - (2)
식 (2)의 경우에는 우리가 10번 째 class의 사전 정보와 P(x_n | C_10)만 알면된다!! 일반적으로 P(x_n | C_10)의 계산은 상대적으로 식 (1)보다 쉽다 ㅎㅎ
그리고 마지막으로 argmax를 쓰는 이유는 당연하다. 우리가 원하는 현상의 확률을 높여야 정답에 가까운 값을 얻기 때문이다.
cf) 성빈이가 softmax를 쓰는 이유와 비슷하다고 했는데 그게 맞다. softmax 식 안의 exp() 연산을 통해서 맞는 것처럼 보이는 확률을 더 맞다고 constraint를 주는 것 이다.