기계학습 2013. 4. 19. 11:07
한글로 최소자승법 또는 최소제곱법, 영어로는 LSM(Least Square Method) 또는 LMS(Least Mean Square) 방법.
최소자승법 하면 흔히 어떤 점들의 분포를 직선이나 곡선으로 근사하는 것만을 생각하기 쉽습니다. 하지만, 최소자승법은 일반적인 수학적 도구(tool)로서 수치해석, 회귀분석 뿐만 아니라 영상처리 분야에서도 다양하게 활용될 수 있습니다.
이 글에서는 최소자승법이 어떻게 실제 다양한 문제에 활용될 수 있는지, 그리고 계산은 어떻게 하면 되는지 몇몇 구체적 예를 통해 하나씩 살펴보도록 하겠습니다. 그래서 궁극적으로는 이 글을 읽는 분들이 자신의 문제에 최소자승법을 보다 잘 활용할 수 있기를 바래 봅니다. 최소자승법을 잘만 활용할 수 있어도 연구개발에 있어 강력한 무기(?) 하나를 갖게 되는 셈입니다 ^^
최소자승법의 이해
최소자승법의 계산
최소자승법의 활용
최소자승법의 한계
최소자승법을 활용할 수 있으려면 먼저 최소자승법이 어떤 것인지 알고 있어야 할 것입니다.
1. 최소자승법의 이해
조금 딱딱한 표현이긴 하지만 최소자승법(Least Square Method)은 '어떤 모델의 파라미터를 구하는 한 방법으로서, 데이터와의 residual2의 합을 최소화하도록 모델의 파라미터를 구하는 방법'을 지칭한다.
모델, 파라미터, 데이터, residual(레지듀얼), ...
이런 단어 하나 하나들이 그대로 이해되면서 머리속으로 하나의 그림이 그려진다면 굳이 최소자승법의 이해 파트는 읽을 필요가 없을 것이다 ^^.
어쨌든, 이렇게 말하면 얼른 감이 안오기 때문에, 이들 단어가, 그리고 최소자승법이 어떤 의미인지 예를 통해 설명해 보자.
보통 블로그를 운영하면서 가장 신경쓰이는 것 중의 하나가 일일 방문객 수이며, 방문객 수를 늘이기 위해 참으로 눈물겨운 노력들을 한다. 그래서 방문객 수의 추세를 알아보기 위해 아래 그림과 같이 날짜별 블로그 방문객 수를 그래프로 그려 보았다고 하자.
x축은 블로그를 개설한 후 경과 일수고 y축은 일자별 방문객 수이다. 그래프에서 각각의 점들이 관측된 데이터 (x, y)이다.