<aside> 💡 분류 알고리즘의 하나인 로지스틱 회귀를 알아보자.

</aside>

1. Introduction

• 서포트 벡터 머신(SVM, Support Vector Machine)이란 주어진 데이터가 어느 카테고리에 속할지 판단하는 이진 선형 분류 모델입니다.

2. Substance

두 범주를 나누는 분류 문제를 푼다고 가정해 보자. 아래 그림에서 직선 B1B1과 B2B2 모두 두 클래스를 무난하게 분류하고 있음을 확인할 수 있다.

좀 더 나은 분류경계면을 꼽으라면 B1B1일 거다. 두 범주를 여유있게 가르고 있거든

위 그림에서 b12b12을 minus-plane, b11b11을 plus-plane, 이 둘 사이의 거리를 **마진(margin)**이라고 한다. SVM은 이 마진을 최대화하는 분류 경계면을 찾는 기법이다.

이를 도식적으로 나타내면 아래와 같다.

그럼 마진의 길이가 얼마인지 유도해보자.

우선 우리가 찾아야 하는 분류경계면을 $w^Tx+b$ 라고 둡시다. 그러면 벡터 $w$는 이 경계면과 수직인 법선벡터가 된다잉

이해하기 쉽도록 $w$를 2차원 벡터 $(w1,w2)^T$ 라고 두자.

$w$에 대해 원점과의 거리가 $b$인 직선의 방정식은 $w^Tx+b=w_1x_1+w_2x_2+b=0$가 된다.

이 직선의 기울기는 $−w_1/w_2$ 이고, 법선벡터 $w$의 기울기는 $w_2/w_1$ 이므로 두 직선은 수직이다. 이를 차원을 확장하여 생각해도 마찬가지이고…

어쨌든 이 사실을 바탕으로 plus-plane 위에 있는 벡터 $x^+$와 $x^−$ 사이의 관계를 다음과 같이 정의할 수 있다.