BOAZ 분석 멘토링 A조 - 2 / SVM

핸즈온 머신러닝 5장에 있는 개념들을 공부하고 이 글에 정리해보았습니다.

코드 참고 : https://github.com/danny980521/BOAZ_Analysis_Mentoring_A/blob/main/5.ipynb

 

선형 SVM 분류 : 아래의 왼쪽 그림의 점선은 두 클래스를 명확히 구분하지 못하지만 나머지 실선은 잘 구분짓고 있다. 하지만 결정 경계가 샘플에 너무 가깝기 때문에 새로운 샘플에 대해서는 아마 잘 작동하지 못할 것이다. 오른쪽 그림은 두 클래스를 명확히 구분하면서도 제일 가까운 훈련샘플과 최대한 멀리 떨어져 있다. 이처럼 폭이 가장 큰 도로를 찾는 것이 SVM의 원리이며, 라지 마진 분류라고도 한다.

출처 : 핸즈온 머신러닝 p206

하드 마진 분류 : 모든 샘플을 도로 바깥쪽에 분류되도록 하는 분류법. 데이터가 선형적으로 구분될 수 있어야 정상 작동하며, 이상치에 매우 민감하다.

소프트 마진 분류 : 도로의 폭을 최대한 넓게 잡는 것과 마진 오류를 허용하는 것 사이에 적절한 균형을 잡은 분류법이다. 아래 그림의 경우 C = 100일 때 도로의 폭은 더 좁아졌지만 일반화가 잘 되었음을 볼 수 있다.

 

출처 : 핸즈온 머신러닝 p207

비선형 SVM에서의 유사도 특성 : 각 샘플이 특정 랜드마크와 얼마나 닮았는지를 측정하는 유사도 함수로 계산한 특성을 추가하여 비선형 특성을 다룰 수 있다. 유사도 함수로는 주로 가우시안 방사 기저 함수(RBF)가 쓰인다.

출처 : 핸즈온 머신러닝 p212

RBF 커널을 사용한 SVM 분류기, 출처 : 핸즈온 머신러닝 p214

 

SVM 회귀 : SVM을 회귀에 적용할 떄에는 분류 때와는 반대로 도로의 폭을 최대한 좁게 하는 것을 목표로 하는 것이다.