A 8건, B 10건이면 B가 이겼을까: 작은 A/B 결과표 읽기

전환이 두 건 늘었다는 사실과 개선이 입증됐다는 말

랜딩 페이지 A에서 방문자 100명 중 8명이 문의했고, B에서는 100명 중 10명이 문의했다고 가정하겠습니다. B의 관측 전환율은 더 높습니다. 그러나 이 숫자만 보고 ‘문구 변경으로 전환율이 25% 개선됐다’고 발표하면, 작은 표본의 흔들림과 방문자 구성 차이를 모두 문구 효과로 바꾸어 말하게 됩니다.

이 글의 표와 계산은 독해를 위한 가상 자료입니다. 실제 고객 캠페인이나 detailry의 성과가 아닙니다. 목적은 A/B 도구의 버튼 위치를 안내하는 것이 아니라, 결과표에서 무엇을 읽을 수 있고 어떤 판단은 아직 남는지 구분하는 데 있습니다. 분석 전에 전환 사건의 의미가 맞는지 이벤트 중복 집계부터 정리돼 있어야 합니다.

차이 2%포인트와 상대 증가 25%를 함께 읽습니다

절대 차이는 10%에서 8%를 뺀 2%포인트입니다. 상대 차이는 2를 기존 비율 8로 나눈 25%입니다. 둘 다 같은 표를 설명하지만 전달하는 인상은 다릅니다. 상대 수치만 크게 적으면 사람이 두 명 더 문의했다는 작은 관측이 가려집니다. 분모와 실제 사건 수, 절대 차이와 상대 차이를 함께 두면 독자가 규모를 판단할 수 있습니다.

분모가 같은지도 중요합니다. A는 방문자 수이고 B는 세션 수라면 비율을 바로 비교할 수 없습니다. 한 사람이 두 번 문의한 것을 두 건으로 셌는지, 최소 한 번 문의한 사람으로 셌는지에 따라서도 값이 달라집니다. 접수 완료를 기준으로 삼는다면 버튼 클릭이 아니라 실제 접수 단계를 같은 규칙으로 연결해야 합니다.

관측 차이 주변의 불확실성을 같이 봅니다

각 사람이 독립적으로 한 번 배정되고 두 집단의 결과가 이항 사건이라고 단순화하면, 비율 차이의 표준오차를 근사 계산할 수 있습니다. 아래 식에서 pA와 pB는 관측 비율이고 nA와 nB는 각각의 표본 수입니다. 이 계산은 크기를 이해하기 위한 기본 정규근사이며 모든 작은 표본에 권장하는 최종 분석법은 아닙니다.

pA = 8 / 100 = 0.08
pB = 10 / 100 = 0.10
차이 = pB - pA = 0.02
표준오차 ≈ sqrt(0.08×0.92/100 + 0.10×0.90/100)
           ≈ 0.0404
95% 근사 구간 ≈ 0.02 ± 1.96×0.0404
              ≈ -0.0593 ~ 0.0993

비율을 퍼센트포인트로 바꾸면 대략 −5.9에서 +9.9%포인트입니다. 넓은 범위 안에 0도 들어 있습니다. 이 예제는 B가 나쁘다는 증거가 아니라, 관측한 +2%포인트만으로 긍정적인 효과를 좁혀 말하기 어렵다는 뜻입니다. 구간을 ‘진짜 차이가 이 안에 있을 확률 95%’로 곧바로 해석하기보다, 사용한 방법과 반복 표집의 신뢰수준을 함께 이해해야 합니다.

NIST의 두 비율 차이 구간 안내는 여러 계산 방법을 소개합니다. 성공 사건이 드물거나 표본이 작으면 단순 정규근사의 성질이 좋지 않을 수 있으므로 적절한 방법을 골라야 합니다. 위 계산에서 소수점을 더 많이 표시한다고 자료의 확실성이 늘어나는 것은 아닙니다.

지난주 A와 이번 주 B는 다른 질문에 답합니다

A는 평일 검색 유입이 많았고 B는 주말 뉴스레터 유입이 많았다면, 두 집단에는 문구 외에도 차이가 있습니다. 가격 할인, 배송 일정, 광고 소재가 함께 바뀌어도 마찬가지입니다. 전후 비교는 운영 중 변화의 신호를 찾는 데 쓸 수 있지만, 특정 문구가 결과를 만들었다고 설명하려면 다른 요인의 영향을 구분할 설계가 필요합니다.

가능한 실험에서는 같은 기간에 대상 방문자를 일관된 단위로 무작위 배정하고, 한 사람이 다시 방문했을 때의 배정 방식도 정합니다. 한쪽은 모바일, 다른 쪽은 데스크톱에 주로 노출된다면 ‘문구만 비교했다’고 볼 수 없습니다. 배정 비율이 예상과 크게 다른 경우에도 승자를 읽기 전에 노출·수집·제외 조건을 살펴봐야 합니다. 실험 목적과 비교 요인에 맞춰 설계를 선택하는 기본 구분은 NIST 실험 설계 안내에서 확인할 수 있습니다.

Google Ads의 실험 안내는 가설과 지표를 미리 정하고 한 번에 한 변수를 시험하도록 권합니다. 이는 Google Ads 사용 맥락의 안내이며, 모든 웹사이트 실험에 같은 기간이나 표본 수를 적용하라는 규정은 아닙니다. 이 글의 랜딩 페이지 예제에서는 가격과 유입 조건을 유지한 채 한 문구의 변화만 비교한다는 식으로 질문을 좁힐 수 있습니다.

결과를 본 뒤 종료 조건과 지표를 바꾸지 않습니다

매일 비율을 확인하다 B가 처음 앞선 날 바로 멈추면, 우연히 유리해진 순간을 고르는 방식이 될 수 있습니다. 반대로 예정한 시점에 차이가 없자 유리해질 때까지 계속 늘리는 것도 처음 정한 분석과 다른 절차입니다. 고정된 분석 시점을 쓸지, 중간 관찰을 허용하는 순차 방법을 쓸지 시작 전에 정하고 선택한 방법의 조건을 따라야 합니다.

여러 지표와 집단을 동시에 뒤지면 우연히 좋아 보이는 결과를 찾기 쉬워집니다. 전체 문의에서는 차이가 없었지만 특정 요일·기기·유입에서만 좋았다는 관측은 다음 가설의 출발점으로 남길 수 있습니다. 처음부터 정한 주지표의 확정 결과와 나중에 찾아본 탐색 결과를 같은 수준으로 보고하지 않습니다. NIST의 다중 비교 설명도 비교를 반복할 때 전체 유의수준을 단일 비교와 같게 볼 수 없음을 다룹니다.

표본 수를 정할 때에는 현재 전환율, 구분하고 싶은 최소 차이, 오류를 허용하는 수준과 검정력을 함께 고려합니다. ‘방문자 100명이면 충분하다’ 같은 고정 숫자는 이 조건을 담지 못합니다. 트래픽이 적어 작은 차이를 구분하기 어렵다면 장기간 누적만 약속하기보다, 더 큰 구조적 문제를 고치거나 인터뷰·사용 과업 관찰처럼 다른 질문에 맞는 자료를 구하는 편이 나을 수 있습니다.

통계적 차이와 실제로 바꿀 가치를 나눕니다

표본이 커지면 매우 작은 차이도 통계적으로 구분될 수 있습니다. 그러나 문의 수가 조금 늘면서 상담 시간이 크게 늘거나 유효하지 않은 문의가 늘었다면 사업 판단은 달라집니다. 주지표와 함께 어떤 부작용을 살펴볼지 미리 정해야 사후에 마음에 드는 숫자만 고르는 일을 줄일 수 있습니다.

가상 결과의 기록은 ‘A 100명·8명, B 100명·10명, 관측 차이 +2%포인트, 작은 표본에서 불확실성이 커 승자 확정 보류’처럼 쓸 수 있습니다. 배정과 수집이 정상인지 확인되지 않았다면 그 문제를 먼저 적습니다. 값이 높아 보인다는 사실, 차이를 구분할 근거, 실제 적용의 이익과 비용은 각각 판단해야 할 부분입니다.

문구 B가 법적·기술적으로 틀린 약속을 포함했다면 전환율이 높아도 유지할 이유가 되지는 않습니다. 주장보다 근거를 먼저 두는 문장처럼 실험에 들어가기 전 충족해야 할 내용 조건이 있습니다. A/B 결과는 좋은 설명을 대신하는 권위가 아니라, 정해진 조건에서 두 선택을 비교하는 자료입니다.