BOAZ 분석 멘토링 A조 - 1 / 분석, 회귀

핸즈온 머신러닝 3, 4장에 있는 개념들을 공부하고 이 글에 정리해보았습니다.

코드 참고 : https://github.com/danny980521/BOAZ_Analysis_Mentoring_A/blob/main/3%264.ipynb

 

오차 행렬 : 학습된 분류 모델이 예측을 수행하면서 얼마나 헷갈리고(confused) 있는지도 함께 보여주는 지표

숫자 5 이미지 분류 오차 행렬, 출처 : 핸즈온 머신러닝 p135

정밀도 : 양성 예측의 정확도. TP/(TP + FP)로 계산한다.

재현율(=민감도) : 정확히 감지한 샘플 중 양성의 비율.  TP/(TP + FN)로 계산한다.

특이도 : 음성으로 정확하게 분류한 음성 샘플의 비율. TN/(TN + FP)로 계산한다.

F1 점수 : 정밀도와 재현율의 조화평균

ROC 곡선 : 거짓 양성 비율(FPR = 1 - 특이도)에 대한 진짜 양성 비율(TPR = 재현율 = 민감도)의 곡선

AUC : ROC 곡선 아래의 면적

 

- 여러 개의 클래스를 직접 처리할 수 없을 때 다중 분류의 2가지 전략

OvR 전략(=OvA 전략) : N개의 분류기를 이용해 점수가 가장 높은 것을 클래스로 선택하여 다중 클래스를 분류하는 방법 

OvO 전략 : 이진 분류기를 여러 개 사용해 다중 클래스를 분류하는 기법 -> 클래스가 N개라면 N*(N-1)/2개의 분류기가 필요하다.

 

다중 레이블 분류 : 여러 개의 이진 꼬리표를 출력하는 분류 시스템. 2개 이상의 레이블이 양성일 수 있다.

다중 출력 다중 클래스 분류(=다중 출력 분류) : 다중 레이블 분류에서 한 레이블이 다중 클래스가 될 수 있도록 일반화한 것

 

정규방정식 : 비용 함수를 최소화하는 세타값을 찾기 위한 공식

정규방정식 수식, 출처 : 핸즈온 머신러닝 p160

 - 경사 하강법의 경로

출처 : 핸즈온 머신러닝 p176

- 선형 회귀를 사용한 알고리즘 비교

출처 : 핸즈온 머신러닝 p176

- 규제가 있는 선형 모델 3가지

릿지 회귀 : L2-norm을 이용해 규제를 계산하는 회귀 모델. 하이퍼 패러미터 알파의 크기를 이용해 규제의 정도를 조절한다. (알파=0이면 선형회귀와 같고, 알파=1이면 데이터의 평균을 지나는 수평선이 된다.)

출처 : 핸즈온 머신러닝 p185

라쏘 회귀 : L1-norm을 이용해 규제를 계산하는 회귀 모델

출처 : 핸즈온 머신러닝 p187

라쏘와 릿지 규제, 출처 : 핸즈온 머신러닝 p189

엘라스틱넷 : 릿지 회귀와 라쏘 회귀를 절충한 모델. 혼합비율 r을 사용해 릿지와 라쏘의 규제항을 더해서 사용한다.(r=0이면 릿지와 같고, r =1이면 라쏘와 같아진다.)

출처 : 핸즈온 머신러닝 p190

 

로지스틱 회귀 : 샘플이 특정 클래스에 속할 확률을 추정하여 분류 모델에 사용하는 회귀 알고리즘