Ridge Regression

Ordinary Least Square Method(OLS)

Ridge Regression

Ridge Regression은 OLS에 L2 Regularization이 합쳐진 것이다.

기본적인 Regularizaion의 좋은 점은 A의 모든 원소가 골구루 문제를 최소화하는데 기여하게 

되는 것이다. 즉, 이를 unbias 되었다라고 한다.

OLS는 모든 Y와 X에 대해서 최적으로 에러가 최소가 되게 하지만 

Ridge Regression은 최적 최소지점을 비겨나간다.

이는 가  singular한 경우를 보조하게 된다.

singular한 경우는 학습데이터가 모자란경우(underdetermined)나 학습데이터에 비해 모델이 굉장히 복잡한 경우(overfitting)이다.