-
Notifications
You must be signed in to change notification settings - Fork 0
(07.12) W02_L01_RuleBasedML
https://www.youtube.com/watch?v=oNTXMgqCv6E&list=PLt9QR0WkC4WVszuogbmIIHIIQ2RMI78RC&index=6
진구(2018.07.10):
이번 주 강의들은 가장 기초적인 머신러닝 알고리즘(Rule-based, Decision Tree, Linear Regression)등을 빠르게 훑는다고 하셨다.
statistical model을 이용한 머신러닝 알고리즘들을 배우기 전에 기본적 개념과 한계에 대해 알아간다고 생각하면 될 것 같다.
머신러닝은 이름에 학습이 있듯, 경험(E)에서 학습(T)이 되어 어떤 태스크(T) 수행에 있어 성능(P)이 향상되어야 한다.
이번 강은 rule-based가 시작되는 강의다.
기본 세팅을 했다.
일단 머신러닝은 더 현실을 잘 모델링하는 하는 better approximate function을 만드는 것이다.(학습을 통해)
Instance(X) = Feature(O, sunny-warm-normal- ... - Same) + Label(Y/N)
Training Dataset(D) = {X1, X2, ... , Xn}
Hypothesis(H) = h1: <Sunny, Warm, ?, ?, ?, Same> -> Y 이런식으로 어떤 feature를 가지면 어떤 라벨이 될 것이다. 라는 가설
Target Function(c): Unknown, but 정답. D를 통해 추론해서 알아가야 하는 대상. H를 c로 잘 만들어가야 한다.
H에서 General(<-> Specific)해질 수록 Instance에서는 넓어진다.
성빈(2018.07.12): 이번강좌에서는 Rule Based ML의 앞부분을 배웠다.
ML Program이란 경험을통해 학습해서 퍼포먼스가 상승하는것을 기대할 수 있는 프로그램이라고 했다. 그 중 Rule Based ML은 규칙을 기반으로 Task를 수행하는 것인데 예시로는 Perfect한 World를 가정으로 들었다 Perfect World는 관측에러가 없으며, 관측은 일관적으로 나타나고 랜덤효과가 없으며 판단을 위한 완벽한 정보수집을 가정으로 하고 있다. ML이 진행되는것은 Function Approximation 하는 과정이라고 볼 수 있는데 하나의 Example인 Instance를 X, 가설을 H, Target Function을 c라고 했을때 X와 H를 매칭시켜서 H가 C가 되도록 알아내는 과정이라고 했다. 중간에 강의가 끊겼는데 마지막 내용은 H의 조건이 많을수록 specific하고 조건이 적을수록 general 하다는 것 같다.
대하(2018.07.12): 이번 강의에서는 가장 기본적인 rule-based machine learning을 배웠다.
학습 데이터 셋 X를 가지고 Target function C를 잘 해결할 수 있는 가설 H을 세우는 것이 좋은 AI라고 교수님께서 말씀하셨다. 여기서는 가설 H라고 표현하는데 나중에는 decision function으로 확장되는 개념인 것 같았다. 지금은 굉장히 단순한 문제 해결을 하고 있기에 linear hypothesis를 사용해도 충분하다는 것을 보여주고 있는 것 같았다.
성빈이가 마지막에 "H의 조건이 많을수록 specific하고 조건이 적을수록 general 하다는 것 같다."라고 하였는데, 이 부분이 learning algorithm에서 제일 중요한 과적합(overfitting)과 저적합(underfitting)문제로 이어질 것 같다.
민규(2018.07.12): 머신 러닝은 어떤 데이터에 대해서 function approximation을 가장 잘하는 것을 찾는 것이다. 즉, 우리가 어떤 가설 H를 만들었을 때, 실제 문제에 대해서 잘 적용되는 것을 학습을 통해서 찾는 것이다. 오늘은 간단한 rule based ML에 관해서 배웠는데 간단하지만 많은 것을 담고 있는 것 같다. 특히, function approximation을 할 때 generalization과 specialization을 고려해줘야한다. generalization을 높으면, 학습 데이터 이외에 데이터에서도 잘 동작할 것 같고, specialization을 높이면 학습 데이터에 대해서만 잘 동작하는 overfitting이 될 것 같다. 어떤 문제를 푸느냐에 따라 다르지만, 뭐든 중간일 때가 가장 좋을 것 같다.