[Data Analysis] 가설 검정과 A/B Test, 시나리오

가설 검정의 기초

가설 검정은 표본 데이터를 사용하여 모집단에 대한 통계적 가설이 타당한지를 판단하는 과정입니다.
이를 통해 연구 가설의 지지 여부를 결정하기 위해 통계적 증거를 평가합니다.

가설 검정 프로세스

1. 귀무 가설 (Null Hypothesis, H0): 기본 가설로, 변화가 없음을 주장합니다.
2. 대립 가설 (Alternative Hypothesis, H1): 연구 가설로, 변화를 주장합니다.
3. 결정 규칙: 통계적 유의성을 평가하여 가설을 기각하거나 채택합니다. 주로 p-value를 사용하여 귀무 가설의 기각 여부를 결정합니다.

---

T검정 (T-test)

T검정은 두 그룹 간의 평균 차이가 통계적으로 유의미한지 검정하는 방법입니다.
데이터가 정규 분포를 따르고 두 집단의 샘플 크기가 비교적 작을 때 사용됩니다.

유형

독립 표본 T검정 (Independent Sample T-test): 두 독립된 그룹 간의 평균 차이를 비교합니다.

from scipy.stats import ttest_ind

group1 = [1, 2, 3, 4, 5]
group2 = [2, 3, 4, 5, 6]
t_stat, p_value = ttest_ind(group1, group2)
print(f'T-statistic: {t_stat}, P-value: {p_value}')

 

대응 표본 T검정 (Paired Sample T-test): 동일한 그룹의 사전-사후 평균 차이를 비교합니다.

from scipy.stats import ttest_rel

before = [1, 2, 3, 4, 5]
after = [2, 3, 4, 5, 6]
t_stat, p_value = ttest_rel(before, after)
print(f'T-statistic: {t_stat}, P-value: {p_value}')

 

단일 표본 T검정 (One Sample T-test): 표본 평균이 특정 값과 다른지 검정합니다.

from scipy.stats import ttest_1samp

sample = [1, 2, 3, 4, 5]
t_stat, p_value = ttest_1samp(sample, 3)
print(f'T-statistic: {t_stat}, P-value: {p_value}')

---

ANOVA (Analysis of Variance, 분산 분석)

ANOVA는 세 개 이상의 그룹 간 평균의 차이가 통계적으로 유의미한지 검정하는 방법입니다.
여러 집단의 데이터를 비교할 때 일반적으로 사용됩니다.

• 예를 들어, 다양한 마케팅 전략의 효과를 비교할 때 사용됩니다.

from scipy.stats import f_oneway

group1 = [1, 2, 3, 4, 5]
group2 = [2, 3, 4, 5, 6]
group3 = [3, 4, 5, 6, 7]
f_stat, p_value = f_oneway(group1, group2, group3)
print(f'F-statistic: {f_stat}, P-value: {p_value}')

---

비모수적 방법

비모수적 방법은 데이터가 정규 분포를 따르지 않을 때 사용하는 통계적 검정 방법입니다.

주요 비모수적 검정

1. 크루스칼-왈리스 검정 (Kruskal-Wallis Test): 여러 독립된 표본 그룹을 비교합니다. ANOVA의 비모수적 대안입니다.

from scipy.stats import kruskal

group1 = [1, 2, 3, 4, 5]
group2 = [2, 3, 4, 5, 6]
group3 = [3, 4, 5, 6, 7]
stat, p_value = kruskal(group1, group2, group3)
print(f'Statistic: {stat}, P-value: {p_value}')

 

2. 맨-휘트니 U 검정 (Mann-Whitney U Test): 두 독립 표본 간의 차이를 검정합니다.

from scipy.stats import mannwhitneyu

group1 = [1, 2, 3, 4, 5]
group2 = [2, 3, 4, 5, 6]
stat, p_value = mannwhitneyu(group1, group2)
print(f'Statistic: {stat}, P-value: {p_value}')

 

3. 윌콕슨 부호 순위 검정 (Wilcoxon Signed-Rank Test): 두 관련 표본 간의 차이를 검정합니다.

from scipy.stats import mannwhitneyu

group1 = [1, 2, 3, 4, 5]
group2 = [2, 3, 4, 5, 6]
stat, p_value = mannwhitneyu(group1, group2)
print(f'Statistic: {stat}, P-value: {p_value}')

---

A/B 테스트

A/B 테스트는 두 가지 이상의 버전(예: 웹 페이지, 제품, 서비스)을 동시에 실행하여 어느 것이 더 효과적인지를 결정하는 실험적 접근 방식입니다.

• 이를 통해 사용자 경험, 제품 성능, 마케팅 전략 등을 최적화할 수 있습니다.

A/B 테스트의 중요성

 

• 비즈니스 의사결정 개선: 실제 데이터에 기반해서 의사결정을 내리므로, 가정이나 추측보다 신뢰할 수 있습니다.
• 혁신적인 아이디어 검증: 새로운 아이디어나 기능을 안전하게 테스트하고, 실제 효과를 평가할 수 있습니다.
• 사용자 만족도 향상: 사용자 경험을 개선하고, 사용자의 요구에 더 잘 맞는 서비스를 제공할 수 있습니다.

Example.

1. 웹사이트 디자인 테스트: A/B 테스트를 통해 두 가지 웹사이트 디자인 중 어느 것이 더 높은 전환율을 보이는지 확인할 수 있습니다.

import numpy as np
from scipy.stats import ttest_ind

# 예시 데이터
conversion_a = np.random.binomial(1, 0.2, 1000)  # A 버전의 전환율
conversion_b = np.random.binomial(1, 0.25, 1000)  # B 버전의 전환율

t_stat, p_value = ttest_ind(conversion_a, conversion_b)
print(f'T-statistic: {t_stat}, P-value: {p_value}')

 

2. 마케팅 전략 테스트: 두 가지 마케팅 캠페인 중 어느 것이 더 높은 매출을 올리는지 평가할 수 있습니다.

# 예시 데이터
sales_a = [200, 220, 250, 230, 210]
sales_b = [240, 260, 270, 250, 230]

t_stat, p_value = ttest_ind(sales_a, sales_b)
print(f'T-statistic: {t_stat}, P-value: {p_value}')

 

---

시나리오

데이터 분석에서 시나리오란 특정 조건이나 상황을 가정하여 분석을 수행하는 것을 의미합니다.

• 시나리오는 여러 가지 가정이나 변수 조합을 기반으로 다양한 결과를 예측하고, 이러한 결과를 비교하여 최적의 의사결정을 내리는 데 도움을 줍니다.
• 시나리오 분석은 특히 불확실성이 높은 상황에서 다양한 가능성을 탐구하고 대비책을 마련하는 데 유용합니다.

시나리오 분석의 목적

시나리오 분석의 목적은 크게 4가지가 있습니다.

 

• 미래 예측: 다양한 조건하에서의 가능한 결과를 예측하여 불확실한 미래를 대비할 수 있습니다.
• 의사결정 지원: 각 시나리오에 따른 결과를 비교하여 최적의 결정을 내릴 수 있도록 도와줍니다.
• 위험 관리: 여러 시나리오를 고려함으로써 잠재적인 위험을 식별하고, 이를 완화할 수 있는 전략을 수립할 수 있습니다.
• 전략 개발: 시나리오 분석을 통해 다양한 전략을 테스트하고, 가장 효과적인 전략을 선택할 수 있습니다.

시나리오 예시 (Example)

여러분은 온라인 쇼핑몰을 운영하는 ‘A’의 데이터 분석가 입니다.
A 는 최근 웹사이트의 사용자 인터페이스(UI)를 새롭게 변경했습니다.
이 변경이 실제로 사용자들의 구매 전환율에 어떤 영향을 미쳤는지 분석하고자 합니다.
수집한 데이터: UI 변경 전과 변경 후의 사용자 상호작용 로그, 구매 이력, 그리고 사용자 피드백 데이터

 

• 가상의 데이터 생성

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy.stats import pearsonr, ttest_ind
import statsmodels.api as sm

# 가상의 데이터 생성
np.random.seed(42)
data = pd.DataFrame({
    'user_id': range(1, 201),
    'ui_type': ['A']*100 + ['B']*100,
    'session_duration': np.random.normal(5, 1.5, 200).tolist(),
    'page_views': np.random.randint(1, 10, 200),
    'conversion': np.random.binomial(1, 0.1, 100).tolist() + np.random.binomial(1, 0.15, 100).tolist(),
    'feedback': ['Good', 'Bad', 'Neutral', 'Excellent', 'Poor']*40
})

---

데이터 종류와 속성 탐색

수집된 데이터의 종류와 속성을 파악하는 것은 데이터 분석의 첫 단계입니다.
이는 데이터의 정성적, 정량적 특성을 이해하고, 분석의 방향을 설정하는 데 중요합니다. 데이터의 타입은 4가지가 있습니다.

 

• 정성적 데이터 (Qualitative Data)
  • 설명: 텍스트, 이미지, 비디오 등 수치화할 수 없는 데이터. 예: 사용자 피드백.
  • 분석 방법: 텍스트 마이닝, 감정 분석, 주제 모델링.
  • 예시: 사용자 피드백을 텍스트로 분석하여 긍정적, 부정적, 중립적 피드백으로 분류.
• 정량적 데이터 (Quantitative Data)
  • 설명: 수치로 표현되는 데이터. 예: 체류 시간, 구매 금액.
  • 분석 방법: 통계 분석, 시각화, 회귀 분석.
  • 예시: 체류 시간과 구매 금액을 분석하여 평균, 중앙값, 표준편차 등을 계산.
• 연속형 데이터 (Continuous Data)
  • 설명: 연속적인 값을 가지는 데이터. 예: 체류 시간, 구매 금액.
  • 분석 방법: 히스토그램, 박스 플롯, 산점도.
  • 예시: 체류 시간의 히스토그램을 그려 데이터 분포를 파악.
• 범주형 데이터 (Categorical Data)
  • 설명: 특정 범주로 구분되는 데이터. 예: 사용자 성별, 사용 UI 타입.
  • 분석 방법: 막대 그래프, 피벗 테이블.
  • 예시: 사용자 성별에 따른 구매 전환율 비교.

데이터 부분 예제 코드

# 사용자 피드백 데이터 정성적, 정량적 데이터로 구분
feedback_counts = data['feedback'].value_counts()

# 연속형 데이터와 범주형 데이터 식별
continuous_data = data[['session_duration', 'page_views']]
categorical_data = data[['user_id', 'ui_type', 'conversion', 'feedback']]

---

기초 통계 및 EDA (Exploratory Data Analysis)

기초 통계 및 탐색적 데이터 분석(EDA)을 통해 데이터의 전반적인 특성과 패턴을 파악하고, 초기 인사이트를 도출합니다.
한번 4가지의 예제를 한번 보겠습니다.

 

데이터의 분포 파악

• 히스토그램: 체류 시간과 페이지 뷰의 히스토그램을 그려 데이터의 분포를 파악합니다.

# 기초 통계 및 EDA
# 히스토그램: 체류 시간과 페이지 뷰
plt.figure(figsize=(12, 5))
plt.subplot(1, 2, 1)
sns.histplot(data['session_duration'], bins=30, kde=True)
plt.title('Session Duration Distribution')

plt.subplot(1, 2, 2)
sns.histplot(data['page_views'], bins=30, kde=True)
plt.title('Page Views Distribution')
plt.show()

 

중심 경향과 분산 파악

• 기초 통계: 데이터의 분포, 중심 경향, 분산 등을 파악하고, 초기 인사이트를 얻습니다.

mean_duration = data['session_duration'].mean()
median_duration = data['session_duration'].median()
std_duration = data['session_duration'].std()

print(f'Mean: {mean_duration}, Median: {median_duration}, Std Dev: {std_duration}')

 

상관관계 탐색

• 산점도: 구매 전환율과 체류 시간의 관계를 산점도로 나타내 상관관계를 탐색합니다.

# 산점도: 구매 전환율과 체류 시간
plt.figure(figsize=(8, 6))
sns.scatterplot(x='session_duration', y='conversion', data=data)
plt.title('Session Duration vs Conversion Rate')
plt.xlabel('Session Duration')
plt.ylabel('Conversion Rate')
plt.show()

이상치 식별

• 박스 플롯: 박스 플롯을 사용하여 체류 시간의 이상치를 식별하고 처리 방안을 고려합니다.

data = [1, 2, 2, 3, 3, 3, 4, 4, 4, 4]
plt.boxplot(data)
plt.title('Box Plot')
plt.ylabel('Value')
plt.show()

---

상관관계 분석

각 변수들이 구매 전환율과 갖는 상관관계와 인과관계를 분석합니다.

• 피어슨 상관 계수를 계산하여 체류 시간과 구매 전환율 간의 선형 관계를 파악합니다.

# 상관관계 분석
# 피어슨 상관 계수 계산
corr, _ = pearsonr(data['session_duration'], data['conversion'])
print(f'Pearson correlation between session duration and conversion: {corr}')

# Pearson correlation between session duration and conversion: -0.05994324020560468

• 인과관계를 유추하기 위해 추가적인 변수들(예: 페이지 뷰, 세션 중 발생한 이벤트 수)을 고려하여 다중 회귀분석을 수행합니다.

 # 다중 회귀분석 수행
X = data[['session_duration', 'page_views']]
X = sm.add_constant(X)  # 상수 항 추가
y = data['conversion']
model = sm.OLS(y, X).fit()
print(model.summary())

                            OLS Regression Results                            
==============================================================================
Dep. Variable:             conversion   R-squared:                       0.004
Model:                            OLS   Adj. R-squared:                 -0.007
Method:                 Least Squares   F-statistic:                    0.3555
Date:                Sat, 20 Jul 2024   Prob (F-statistic):              0.701
Time:                        14:13:00   Log-Likelihood:                -80.153
No. Observations:                 200   AIC:                             166.3
Df Residuals:                     197   BIC:                             176.2
Df Model:                           2                                         
Covariance Type:            nonrobust                                         
====================================================================================
                       coef    std err          t      P>|t|      [0.025      0.975]
------------------------------------------------------------------------------------
const                0.2309      0.103      2.246      0.026       0.028       0.434
session_duration    -0.0156      0.019     -0.841      0.401      -0.052       0.021
page_views           0.0002      0.010      0.024      0.981      -0.020       0.020
==============================================================================
Omnibus:                       72.128   Durbin-Watson:                   2.055
Prob(Omnibus):                  0.000   Jarque-Bera (JB):              141.950
Skew:                           1.897   Prob(JB):                     1.50e-31
Kurtosis:                       4.625   Cond. No.                         29.6
==============================================================================

Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

---

가설 검정 및 A/B 테스트

• 변경된 UI가 구매 전환율에 긍정적인 영향을 미쳤는지를 통계적으로 검증합니다.
• 사용자를 두 그룹(기존 UI와 새 UI 사용자)으로 나누고, 이들 간의 구매 전환율을 비교합니다.
• 사용자를 무작위로 두 그룹(A: 기존 UI, B: 새 UI)으로 할당합니다.

# 가설 검정 및 A/B 테스트
# A/B 테스트를 위한 독립 표본 T검정 수행
group_A = data[data['ui_type'] == 'A']['conversion']
group_B = data[data['ui_type'] == 'B']['conversion']

t_stat, p_value = ttest_ind(group_A, group_B)
print(f'T-statistic: {t_stat}, P-value: {p_value}')

# T-statistic: 1.3672469278991675, P-value: 0.1730980605898706

• 각 그룹의 구매 전환율을 계산하고, 두 그룹 간의 차이를 평가하기 위해 독립 표본 T검정을 수행합니다.
• p-값과 유의 수준(0.05)을 비교하여 귀무 가설(두 UI 간에 차이가 없다)의 기각 여부를 결정합니다.

# 유의 수준 0.05에서 귀무 가설 기각 여부 결정
alpha = 0.05
if p_value < alpha:
    print("귀무 가설 기각: 두 UI 간에 유의미한 차이가 있음")
else:
    print("귀무 가설 채택: 두 UI 간에 유의미한 차이가 없음")
    
# 귀무 가설 채택: 두 UI 간에 유의미한 차이가 없음

• 통계적 검정을 통해 얻은 결과를 바탕으로 UI 변경의 효과를 평가합니다.

# 통계적 검정을 통해 얻은 결과를 바탕으로 UI 변경의 효과 평가
if p_value < alpha:
    print("새로운 UI가 구매 전환율에 긍정적인 영향을 미쳤습니다.")
else:
    print("새로운 UI가 구매 전환율에 유의미한 영향을 미치지 않았습니다.")
    
# 새로운 UI가 구매 전환율에 유의미한 영향을 미치지 않았습니다.

---

Conclusion (결론)

 

• 피어슨 상관 계수: 체류 시간과 구매 전환율 간의 선형 상관관계를 수치적으로 평가할 수 있습니다. 이 값이 1에 가까울수록 강한 양의 상관관계를, -1에 가까울수록 강한 음의 상관관계를 의미합니다. 0에 가까울수록 상관관계가 거의 없음을 나타냅니다.
• 다중 회귀분석: 체류 시간, 페이지 뷰 등 여러 변수를 고려하여 구매 전환율에 대한 영향을 분석할 수 있습니다. 회귀 모델의 결과를 통해 각 변수의 기여도를 파악할 수 있습니다.

Pearson correlation between session duration and conversion: -0.05994324020560468
- 페이지에서의 체류시간과 구매 전환율의 상관 관계는 0에 거이 가까움으로 거이 상관관계가 없음을 나타냅니다.

 

• T검정 결과: 두 UI 그룹 간의 구매 전환율 차이를 평가한 결과를 얻을 수 있습니다. T검정의 t-통계량과 p-값을 통해 두 그룹 간의 차이가 통계적으로 유의미한지 여부를 판단할 수 있습니다.
• 귀무 가설의 기각 여부: p-값이 유의 수준(alpha)보다 작으면 귀무 가설을 기각합니다. 이는 두 UI 간에 유의미한 차이가 있음을 의미합니다. 반대로 p-값이 유의 수준보다 크면 귀무 가설을 채택합니다. 이는 두 UI 간에 유의미한 차이가 없음을 의미합니다.

P-value의 해석- 
P-value: 0.1730980605898706
유의 수준 (alpha): 0.05
P-value가 0.05보다 크므로, 귀무 가설을 기각할 수 없습니다.

 

 

P-value가 유의 수준 0.05보다 크므로, 두 UI 간의 구매 전환율에 유의미한 차이가 없다고 결론지을 수 있습니다.

즉, 데이터 분석 결과 새로운 UI가 기존 UI에 비해 구매 전환율에 유의미한 영향을 미치지 않았습니다.

결론은 귀무 가설 채택이 되었다고 볼 수 있습니다.