[ML] Logistic Regression (로지스틱 회귀)

이번엔 Logistic Regression (로지스틱 회귀)에 데하여 한번 알아보겠습니다.

Logistic Regression (로지스틱 회귀)

로지스틱 회귀(Logistic Regression)는 주로 이진 분류 문제를 해결하기 위해 사용되는 통계적 모델입니다.
입력된 독립 변수들의 선형 결합을 통해 종속 변수(이진 변수)의 발생 확률을 예측합니다.

---

로지스틱 회귀의 주요 특징

 

• 분류 알고리즘: 이진 분류 문제를 주로 해결하기 위해 사용됩니다. 다중 클래스 분류 문제에서도 확장할 수 있습니다.
• 확률 출력: 예측 결과를 0과 1 사이의 확률 값으로 출력합니다.
• 선형 회귀와의 차이점: 선형 회귀는 연속적인 값을 예측하지만, 로지스틱 회귀는 이진 값을 예측합니다.

---

로지스틱 회귀의 기본 원리

그러면, Logistic Regression (로지스틱 회귀)의 기본 원리는 무엇이 있을까요? 한번 알아보겠습니다.

1. 선형 모델

로지스틱 회귀는 입력 변수 (X)와 가중치 (W)의 선형 결합을 통해 예측 값을 계산합니다. 이 선형 결합은 아래의 수식과 같이 표현됩니다.

여기서 (b)는 편향(bias)입니다. 이 (z) 값은 로지스틱 함수에 입력되어 확률로 변환됩니다.

 

 

2. 로지스틱 함수 (시그모이드 함수)

선형 결합의 결과 (z)를 로지스틱 함수에 적용하여 0과 1 사이의 확률 값을 계산합니다. 로지스틱 함수는 아래의 수식과 같이 정의됩니다.

이 함수는 입력 값이 증가함에 따라 출력이 0에서 1로 부드럽게 변화하는 S자 형태의 곡선을 가집니다.

3. Decision Border (결정 경계)

출력 확률이 0.5를 기준으로 분류합니다. 즉, 출력 확률이 0.5 이상이면 양성 클래스(1)로, 0.5 미만이면 음성 클래스(0)로 분류합니다.

이 결정 경계는 선형적으로 설정되지만, 데이터의 특성에 따라 다르게 조정될 수 있습니다.

---

 

로지스틱 회귀의 장점, 단점

로지스틱 회귀의 장점

• 해석 용이성: 로지스틱 회귀의 출력이 확률이기 때문에, 결과를 해석하는 것이 용이합니다. 예를 들어, 특정 입력에 대해 0.8의 확률로 양성 클래스에 속한다고 해석할 수 있습니다.
• 효율성: 계산 비용이 낮고, 대량의 데이터셋에서도 빠르게 학습할 수 있습니다. 이는 특히 데이터가 많을 때 유리합니다.

로지스틱 회귀의 단점

• 선형 결정 경계: 로지스틱 회귀는 입력 변수와 종속 변수 간의 관계가 선형이라고 가정합니다. 따라서 비선형 데이터에서는 성능이 저하될 수 있습니다. 이 경우, 다항 회귀나 커널 기법을 사용하는 것이 필요할 수 있습니다.
• 이진 분류 제한: 기본적으로 로지스틱 회귀는 이진 분류에 적합합니다. 다중 클래스 분류 문제를 해결하기 위해서는 소프트맥스 회귀와 같은 기법을 사용하여 확장할 수 있습니다. 다중 클래스 로지스틱 회귀는 각 클래스에 대해 별도의 로지스틱 함수를 학습하여 다중 클래스를 동시에 처리합니다.

---

로지스틱 회귀의 활용

로지스틱 회귀는 의료 진단, 마케팅 분석, 신용 점수 예측 등 다양한 분야에서 활용됩니다.

이 모델은 간단하면서도 효과적인 예측 성능을 제공하기 때문에, 많은 데이터 과학자와 분석가들이 선호하는 방법입니다.

---

로지스틱 회귀 Example Code

그러면, 로지스틱 회귀 (Logistic Regression)는 어떻게 코드를 작성해서 사용하는 걸까요? 한번 예시 코드를 보겠습니다.

# 필요한 라이브러리 임포트
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, ConfusionMatrixDisplay
import matplotlib.pyplot as plt

# 유방암 데이터셋 로드
cancer = load_breast_cancer()
X, y = cancer.data, cancer.target

# 데이터셋을 학습 세트와 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 데이터 표준화
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 로지스틱 회귀 모델 학습
log_reg = LogisticRegression(max_iter=10000)
log_reg.fit(X_train, y_train)

# 예측 및 평가
y_pred = log_reg.predict(X_test)
print(classification_report(y_test, y_pred))

              precision    recall  f1-score   support

           0       0.98      0.95      0.96        43
           1       0.97      0.99      0.98        71

    accuracy                           0.97       114
   macro avg       0.97      0.97      0.97       114
weighted avg       0.97      0.97      0.97       114

# 혼동 행렬 시각화
ConfusionMatrixDisplay.from_estimator(log_reg, X_test, y_test)
plt.title("Logistic Regression Confusion Matrix")
plt.show()