(07.18) W02_L05_HowToCreateDT

https://www.youtube.com/watch?v=70tDiv30WrM&index=10&list=PLt9QR0WkC4WVszuogbmIIHIIQ2RMI78RC

---

성빈(2018.07.18) Linear Regression

Function Approximation을 Linear한 형태로 하는것

Hypothesis를 function의 형태로 정의 -> 가중치를 주어 합의 형태로 가정 가중치를 잘 조정하면 잘 Approximate되겠구나

에러를 줄이는것이 목적

에러는 이미 주어져 있으므로 세타를 조정한다. 잘 맞자 않으면 선형이라는 가정을 조정하여 factor를 붙임 하지만 몇안되는 경우때문에 대부분의 경우 맞았던 hypothesis가 안좋다는것이 맞는가는의문이 생김 -> 나중에 설명하겠음

---

대하(2018.07.18) Linear Regression

성빈이 설명에서 보충을 하자면 좀 더 data의 분포를 잘 분석할 수 있는 model을 만들기 위해 model의 차원을 늘리면 늘릴수록(theta의 차원을 늘릴수록) 데이터 셋의 경향에 최대한 근접해 가지만 지난 시간에 교수님께서 언급하셨듯이 training data에 잘 동작하는 것이 좋은 model이 아니라 unseen data 즉, test data에 대해서 잘 동작하는 것이 좋은 model이라고 하셨다.

따라서 강의 자료에 나왔던 어느정도 동떨어져 있는 빨간색 점은 데이터 셋을 잘 반영한다기 보다는 noise성 data로 간주하는게 맞을 것 같다.

즉 blue line에 비해 green line은 overfitting(과적합) 되었다고 보는 것이 좋을 것 같다. (개인적인 생각임 ㅎㅎㅎ)

---

진구 (2018.07.18)
테일러 시리즈가 생각났다.
그런데 다른 점이 완벽하게 따라가는 것이 좋은 것이 아니라 추세정도만 따라가는 것이 나을 수도 있다는 것을 배웠다.
추세를 따라가면서 어느정도 까지 fit을 하는 것이 좋으냐가 어려운 문제라는 것을 느꼈다.
(추가 예정)

---

민규 (2018.07.18): 오늘 linear regression에 대한 알고리즘을 배웠다. 이 알고리즘 또한 hypothesis와 ground truth 사이의 에러를 최소화하는 방식으로 설계된다. 따라서, 결과적으로 최적화되는 파라미터를 찾을 수 있는 식은 least square method와 같아진다. 처음에 행렬 미분 과정이 이해가 되지 않았지만 위키피디아에 검색해보니 바로 나왔다. (https://en.wikipedia.org/wiki/Matrix_calculus) 교수님이 만든 데이터에 대해 regression을 적용했을 때, linear(파란 선), non-linear(초록 선)인 2가지 경우를 실험했다. regression 식에 비선형성이 강해질수록 현재 데이터에 대해서는 잘 fitting되지만, 새로운 데이터에 대해서는 over-fitting으로 인해 문제가 생길 것 같다.