마케터를 위한 A/B 테스트 최소 통계

A/B 테스트 결과가 매번 애매하게 나온다면 대개 아이디어보다 설계가 문제입니다. 표본 크기와 테스트 기간만 제대로 잡아도 ‘무엇이 이겼는지 모르겠다’는 상황의 상당 부분이 사라집니다. 마케터가 알아 두면 좋은 최소한의 통계 개념을 정리했습니다.

표본 크기는 시작하기 전에 계산한다

결과가 좋아 보일 때 멈추는 습관은 우연을 성과로 착각하게 만듭니다. 현재 전환율과 기대하는 개선 폭을 정하면 필요한 표본 수를 미리 계산할 수 있고, 그 수에 도달하기 전에는 결과를 판단하지 않는 것이 원칙입니다.

테스트 도구가 알려 주는 ‘승리 확률’ 같은 숫자는 편리하지만 기준이 도구마다 다릅니다. 어떤 방식으로 계산한 값인지 모르는 채 결론을 내리지 말고, 최소한 표본 수, 기간, 전환 수의 세 가지만큼은 팀이 직접 확인하는 습관을 들이세요.

기간은 최소 한두 주기

요일에 따라 방문자의 성격이 달라지므로 며칠만 돌려서는 편향이 생깁니다. 최소한 일주일 단위를 온전히 포함하고, 가능하면 두 주기를 채우세요.

가설을 세울 때는 ‘제목을 바꾸면 좋아질 것이다’처럼 막연하게 쓰지 말고 ‘구체적인 숫자를 넣은 제목이 클릭률을 높일 것이다’처럼 이유까지 적어 보세요. 이유가 있는 가설은 결과가 어떻게 나오든 다음 시험의 출발점이 되어 줍니다.

• 한 번에 하나의 가설만 시험한다
• 중간에 트래픽 배분을 바꾸지 않는다
• 프로모션이나 캠페인이 겹치는 기간은 피한다

결과를 보고 설계를 고치는 순간, 테스트는 증거가 아니라 변명이 된다.

스토리 라이트 편집팀

‘유의하다’는 ‘중요하다’가 아니다

통계적으로 유의한 차이라도 실제 사업에 미치는 영향이 작을 수 있습니다. 반대로 표본이 부족해 유의하지 않은 결과도 방향성은 참고할 만합니다. 숫자 하나로 결론짓지 말고 효과의 크기와 비용을 함께 살펴보세요.

시험이 끝난 뒤에는 이긴 쪽을 바로 적용하는 데서 멈추지 말고, 다른 채널과 다른 대상에서도 같은 결과가 나오는지 확인해 보세요. 한 번의 결과는 가설을 강화할 뿐 법칙이 아닙니다. 반복해서 확인된 것만 팀의 원칙으로 남기세요.

정리

이긴 변형과 진 변형, 그리고 왜 그렇게 되었다고 생각하는지를 짧게 기록해 두세요. 테스트 하나하나의 성패보다 이 기록이 쌓여 만들어지는 팀의 감각이 장기적으로 훨씬 큰 자산입니다.