ABTest

A/B테스트를 이해하기 위한 기초 통계 지식을 정리합니다. 기본적인 간단한 용어 설명이나 개념 설명정도의 포스트입니다. 표본크기(Sample Size)AB테스트는 통계적으로 의미있는 차이를 확인하는 테스트이기 때문에 충분한 표본 크기가 필요표본 크기는 실험의 통계적 강도에 영향Baseline Conversion Rate, Minimum Detectable Effect, Statistical Significance 를 기반으로 계산표본이 얼마나 필요하냐라는 질문은 두 방안의 결과가 몇 % 정도 차이가 날 것이라고 기대하는가와 같음표본이 많으면 많을수록 A안과 B안의 결과 차이가 작더라도 실험 결과가 통계적으로는 유의미할 수 있음표본이 작더라도 A안과 B안의 결과 차이가 크다면 마찬가지로 통계적으로 유의미 ..

A/B테스트가 무엇이고 설계는 어떻게 해야하는지를 정리합니다. A/B 테스트란?두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled experiment)이다. 마케팅과 웹 분석에서, 버킷 테스트 또는 분할-실행 테스트라고 불린다. A/B 테스트가 필요한 이유서비스를 만드는 과정에서 자유롭게 가설을 세우고 사용자로부터 피드백을 받아 서비스에 적용하는 과정에서 실제 반응을 테스트 해보는 방법세운 가설이 기존 데이터를 토대로 추측했기 때문에 적용 결과가 좋을 거란 기대는 있지만 실제 반응은 그렇지 않을 수도 있다! → 우리는 새로운 기능을 출시하지 않음으로 인해 많은 비용을 줄일 수도 있다  A/B 테스트의 단계 예시 1. 실험 계획실험 목표 및 가설 생성실험의 목표가 명확하지 않으면 가설을 ..