Data

T-test를 이해하기 위한 포스트 입니다. 스튜던트의 t-test두 집단의 평균이 다르다고 볼 수 있는지 알아보는 테스트‘t’라는 것은 그룹 간 평균 차이에 비례하는 변수‘x’가 방정식에서 미지수로 불리는 것과 같음두 집단 간의 차이가 크면 큰 값이 세팅되게 되어있음t는 (표본 평균 차이)/(불확실도)로 계산불확실도(불확실성)가 분모인 이유는 표본으로부터 얻는 평균값은 항상 일정하지 않고 오차를 내포하고 있기 때문 t-value그룹 간 평균 차가 클 수록 t-value는 큼t-value는 평균 차이를 불확실도로 나눈 것즉, 평균차가 클 수록 t-value는 커짐또, 불확실도가 적을 수록 t-value는 커짐  t-test의 종류독립 표본 t-test두 그룹의 들어 있는 사람들이 전혀 다른 사람들임을 전..

p-value주어진 데이터에서 특정 검정 통계량(t-값 또는 z-값)을 얻을 확률귀무가설을 구체화한 모델이 있을 때 관측된 결과가 특이하거나 극단적인 결과를 얻을 확률을 말함작은 p값은 귀무 가설이 거부될 가능성이 크다는 것을 의미p값이 0.05라는 것은 우연히 얻은 결과의 5%가 관찰한 것만큼 극단적이거나 그 이상 극단적인 결과를 얻을 것으로 기대함따라서 p값이 낮을수록 좋다는 의미로 쓰며 이는 결과가 우연에서 비롯될 확률이 낮은 것을 뜻함즉, 랜덤 모델이 주어졌을 때, 그 결과가 관찰된 결과보다 더 극단적인 확률을 뜻함하지만, 이 값이 유의미 하다고 해서 바로 증거로 사용하면 안되며 의사결정을 좌우하는 도구로 생각하면 안됨p값은 데이터가 특정 통계 모델과 얼마나 상반되는지 나타낼 수 있음p 값은 연구..

A/B테스트를 이해하기 위한 기초 통계 지식을 정리합니다. 기본적인 간단한 용어 설명이나 개념 설명정도의 포스트입니다. 표본크기(Sample Size)AB테스트는 통계적으로 의미있는 차이를 확인하는 테스트이기 때문에 충분한 표본 크기가 필요표본 크기는 실험의 통계적 강도에 영향Baseline Conversion Rate, Minimum Detectable Effect, Statistical Significance 를 기반으로 계산표본이 얼마나 필요하냐라는 질문은 두 방안의 결과가 몇 % 정도 차이가 날 것이라고 기대하는가와 같음표본이 많으면 많을수록 A안과 B안의 결과 차이가 작더라도 실험 결과가 통계적으로는 유의미할 수 있음표본이 작더라도 A안과 B안의 결과 차이가 크다면 마찬가지로 통계적으로 유의미 ..

A/B테스트가 무엇이고 설계는 어떻게 해야하는지를 정리합니다. A/B 테스트란?두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled experiment)이다. 마케팅과 웹 분석에서, 버킷 테스트 또는 분할-실행 테스트라고 불린다. A/B 테스트가 필요한 이유서비스를 만드는 과정에서 자유롭게 가설을 세우고 사용자로부터 피드백을 받아 서비스에 적용하는 과정에서 실제 반응을 테스트 해보는 방법세운 가설이 기존 데이터를 토대로 추측했기 때문에 적용 결과가 좋을 거란 기대는 있지만 실제 반응은 그렇지 않을 수도 있다! → 우리는 새로운 기능을 출시하지 않음으로 인해 많은 비용을 줄일 수도 있다  A/B 테스트의 단계 예시 1. 실험 계획실험 목표 및 가설 생성실험의 목표가 명확하지 않으면 가설을 ..