[ISLP Chapter 9] 서포트 벡터 머신

서포트 벡터 분류기 (SVC, Support Vector Classifier) 는이진 클래스, 분류하는 경계가 선형인 경우 효과적

--> 현실은 비선형적인 문제가 더 많음.. ==> 서포트 벡터 머신 (SVM, Support Vector Machine)사용

 

비선형적 경계

보통은 입력 변수의 차원을 매핑함수로 증가시킨 후 각 쌍들을 내적해야한다

예) p차원 -> 매핑 함수 Φ 적용 -> 2p차원 -> 모든 쌍들을 내적시켜야한다.

한계: 계산량이 기하급수적으로 많아진다, 무한차원 사영은 불가능하다

↓

SVM에서는 커널트릭 (Kernel Trick)을 사용하여 효율적으로 계산이 가능

**최적화**(이거 내용 따로 올려야할)에 대한 이해가 필요하다

SVM 목적함수(마진을 최대화하는 w, b를 찾는것)를 Largrange primal function을 사용하여 극값을 구하고 Largrange dual function형태로 변환하면 변환된 식에서 SVM의 해는 기존 입력 차원의 관측치들의 내적만 관련된다는 것을 확인 할 수 있다. 

 

커널 트릭 (Kernel Trick)

: 기존 차원의 쌍에 커널 함수를 적용하면 고차원 에서의 x, x'에 대한 내적이 가능하다.

• K : 커널함수
• x, x' : 기존 입력 차원에서의 쌍
• Φ(x)⋅Φ(x^′) : 매핑된 차원에서의 x, x′ 의 내적

다양한 커널트릭

• Linear kernel

  • 

 

• Polynomial kernel
  • 
  • 선형보다 유연한 경계를 가짐

 

• RBF kernel (방사커널)

  • 

  • e의 음의 제곱 => ()안의 값이 커질수록 총 값은 작아짐

  • 

  • ↑ 훈련데이터와 관측치의 거리
  • γ : 양의 상수, 가까운 관측치들만 영향을 준다
  • 국소적(local) 방식