p값이 0.03이 나왔습니다. A 소재보다 B 소재가 낫다는 의미일까요?

많은 마케터가 이 수치를 보고 전환을 결정합니다. 그러나 p값은 효과의 크기가 아닙니다. 이 숫자를 정확하게 읽으려면 가설검정의 구조를 이해해야 합니다. ADSP 3과목 통계분석 파트의 핵심이고, 데이터 기반 의사결정의 기초가 되는 개념입니다.

이 차이, 진짜인가요

광고 소재 A와 B를 2주간 테스트했습니다.

B의 CTR이 0.5%p 높습니다. 바로 B로 전환해도 될까요?

직관적으로는 B가 낫다고 느껴집니다. 하지만 표본이 각 10,000명이라면, 이 정도 차이는 우연히 나타날 수 있는 범위 안에 있을 수도 있습니다. 가설검정은 이 우연 가능성을 수치로 계산하는 과정입니다.

가설검정 4단계 구조

가설검정은 "효과가 있다"를 직접 증명하지 않습니다. "효과가 없다는 가정을 기각할 수 있는가"를 판단합니다. 방향이 반대라는 점이 핵심입니다.

1️⃣ 가설 설정 → 2️⃣ 유의수준(α) 설정 → 3️⃣ p값 계산 → 4️⃣ 판단

1단계. 두 가지 가설

• 귀무가설(H₀): 효과가 없다는 기본 가정. "A와 B의 CTR에 차이가 없다."

• 대립가설(H₁): 증명하고 싶은 주장. "B의 CTR이 A보다 높다."

법정에서 피의자는 '무죄 추정'에서 시작합니다. 유죄 증거가 충분할 때만 유죄를 선고합니다. 가설검정도 같은 구조입니다. H₀를 기각할 만한 증거가 통계적으로 충분한지를 따집니다.

2단계. 유의수준(α) 설정

유의수준은 "이 결과가 우연일 확률이 얼마 미만이면 유의미하다고 볼 것인가"의 기준선입니다. 일반적으로 0.05(5%)를 씁니다.

중요포인트: 유의수준은 결과를 보기 전에 설정해야 합니다. 결과를 본 뒤 기준을 바꾸는 것은 통계적으로 허용되지 않습니다.

3단계. p값이란 무엇인가

p값의 정의입니다.

귀무가설이 참일 때, 현재 표본에서 관측된 결과가 우연히 나올 확률

p값이 0.03이라는 것은 "A와 B에 차이가 없다고 가정했을 때, 이번 결과가 우연히 나올 확률이 3%"라는 의미입니다.

4단계. 판단

유의수준(α) = 0.05로 설정

p값 = 0.03  →  p < α  →  귀무가설 기각  →  "통계적으로 유의미한 차이가 있다"
p값 = 0.08  →  p ≥ α  →  귀무가설 기각 실패  →  "차이가 없다고 단정할 수 없다"

귀무가설은 "기각"하거나 "기각에 실패"합니다. "채택"이라는 표현은 통계적으로 엄밀하지 않으며, 시험에서 오답 선택지로 자주 등장합니다.

p값에 대한 흔한 오해

오해 1. p값이 낮으면 효과가 크다

p값은 효과의 크기가 아닌, 우연일 가능성을 나타냅니다. 표본이 10만 명이면 CTR 0.01%p 차이도 p < 0.05가 나올 수 있습니다. 통계적으로는 유의미하지만 비즈니스적으로는 무의미한 차이입니다. 효과의 크기는 Effect Size나 신뢰구간으로 별도로 확인해야 합니다.

오해 2. p값 0.06은 거의 유의미하다는 생각

0.05를 기준으로 정했다면 0.06은 기각 실패입니다. "거의 유의미하다"는 통계적으로 존재하지 않는 개념입니다. 기준을 낮추고 싶었다면 분석 전에 α = 0.1로 설정했어야 합니다.

1종 오류와 2종 오류

어떤 오류가 더 비쌀지는 상황에 따라 다릅니다. 예산 규모가 크고 소재 전환 비용이 낮다면 1종 오류를 더 엄격하게 통제(α를 낮게)하는 것이 맞습니다. 빠른 의사결정이 중요하고 테스트 비용이 낮다면 β를 낮추는 방향이 합리적입니다.

중요포인트: 1종 오류 = α = 유의수준. 2종 오류 = β. 검정력(Power) = 1 - β. 이 세 가지 관계식이 ADSP 선택지를 가릅니다.

시험에 나오는 방식

ADSP 3과목 통계분석 파트에서 가설검정은 핵심 출제 영역입니다.

• 귀무가설은 '기각'하거나 '기각하지 못하는' 것입니다. '채택'은 오답 선택지입니다.

• 유의수준(α) = 1종 오류의 최대 허용 확률

• p값 < α → 귀무가설 기각 / p값 ≥ α → 기각 실패

• 1종 오류와 2종 오류는 트레이드오프 — α를 낮추면 β가 올라갑니다.

• 검정력(Power) = 1 - β. 표본 크기가 클수록 검정력이 높아집니다.

마치며

가설검정의 핵심은 하나입니다. 데이터의 차이가 실제 효과인지 우연인지를 구분하는 기준을 사전에 정해두고, 그 기준으로 결과를 판단하는 것입니다. p값은 그 기준과 비교하는 수치일 뿐, 효과의 크기나 중요도를 나타내지 않습니다. 이 구분이 명확해지면 A/B 테스트 결과를 받았을 때 숫자가 다르게 보이기 시작합니다.

출처: https://unsplash.com/photos/IrRbSND5EUc