-
Notifications
You must be signed in to change notification settings - Fork 0
(08.24) W06_L05 Performance Metrics
승관(2018.08.21): 스팸메일 필터의 경우
- Precision : 매우 중요하다.
- Recall : 높을수록 좋지만 Precision에 영향을 주면서 높을 필요는 없다.
우수고객 필터의 경우
- Precision : 높을수록 좋지만 Recall에 영향을 주면서 높을 필요는 없다.
- Recall : 매우 중요하다.
F-Measure
- F2 : Recall이 중요하게 Weighting을 준다.
- F0.5 : Precision이 중요하게 Weighting을 준다.
민규(2018.08.24):
이번 강의는 여러가지 performance metrics을 배웠다.
우선, precision과 recall을 배웠다. 해석하면 각각 정밀도와 재현율이다.
precision은 추정한 것 중에서 참인 것이고 recall은 참인 것들 중에서 옳게 추정한 것을
수치화한 것이다. 둘 다 높으면 좋겠지만 상황에 따라서 어느 metric에 초점을 맞출지 달라질 수 있다.
그리고 F-measure는 recall과 precision 각각을 적절히 반영한 metric이다. F-measure에서도 b의 값에
따라 recall에 초점을 맞출지 precision에 맞출지를 결정할 수 있다.
논문을 읽다보면 오늘 배운 metric을 자주 볼 수 있는데 (특히, F-measure) 제대로 알아두는 것이 도움이 될 것 같다.
성빈(2018.08.24):
다양한 측정
타겟펑션을 모르고 샘플이 부족하기때문에 바이어스 베리언스를 구하기 어렵다
사용하는 어플리케이션에 따라 에러의 중요우선순위가 다르다
스팸필터 - 스팸이라고 인지된건 무조건 스팸이어야 함(조금이라도 불확실하면 스팸이면 안된다)
False Negative에러가 일어나도 되지만, False Positive에러는 절대 발생하면 안됨
False Positive 에러를 측정하는것이 더 중요(Precision이 높은것이 우선시 되야함)
CRM 반대로 False Nagative에러를 줄이는 것이 중요함 - Recall이 우선시 되어야한다
두 방식을 합친것이 F-Measure?
주는 weighting에 따라 recall precision을 표현할 수 있다.\
진구(2018.08.24):
문일철 교수님이 반복학습 시켜주시니 이제 머리에 좀씩 남기 시작한다.
- infinite sampling -> n-fold
- measurement -> accuracy, Precision/Recall, F-Measure, ROC
- 다음 강의에서는
ROC는 소개 안해주셨는데 테리의 딥러닝 톡을 참고해도 좋을 것 같다.
https://www.youtube.com/watch?v=nMAtFhamoRY
Precision, Recall을 하나의 수식으로 파라미터 하나(b) 바꿔가며 컨트롤할 수 있게 일반화한 게 F-measure다.
다음 강의 정규화도 매우 중요한 부분일 것 같다. 컴플렉스하면서도 스테이블하다니...
기대된다.
대하(2018.08.24):
이번 시간에는 model의 성능을 평가하는 방법을 알아보았다.
단순하게 classification 문제처럼 몇 개 sample 중에서 몇 개를 맞췄는지 계산하는 것은 항상 절대적인 기준이 아니다.
그 이유는 다양한 measure들이 상황마다 중요도가 다르기 때문이다.
이에 대한 근본적인 이유는 learned model의 variance와 bias를 직접적으로 performace measure로 사용할 수 없기 때문이다.
따라서 우리는 Accuracy, Precision & recall, F-measure, ROC curve를 사용한다.
Accuracy는 주로 classification problem에,
Precision & recall, ROC curve는 주로 object detection, segmentation problem에 사용된다.
요새 generative model의 performance를 측정할 때는 ELBO를 많이 사용하고 이는 쉽게 설명해서 Maximum likelihood와 비슷한 의미를 지닌다.