czy czujesz się pewnie, śmieciu?
solidna hipoteza, analiza mocy i znaczenie statystyczne: Święta Trójca testów a/B.
solidna hipoteza opiera proponowaną zmianę na wglądu, utrzymując uczciwość i uziemienie eksperymentu w danych ilościowych lub jakościowych., Analiza mocy zapewnia minimalną wielkość próby wymaganą, aby mieć pewność, że zidentyfikujesz zmianę i zminimalizujesz nieodłączne błędy statystyczne. Istotność statystyczna pomaga zrozumieć, jak przekonujące są dane eksperymentalne i czy można odrzucić hipotezę zerową.
wynik eksperymentu jest statystycznie istotny, jeśli jest mało prawdopodobne, aby wystąpił on sam przez przypadek. Przez mało prawdopodobne rozumiemy, że wartość p (która jest obliczana na podstawie zmierzonych danych eksperymentalnych) jest mniejsza niż próg zdefiniujemy przed rozpoczęciem eksperymentu, zwykle 5%., Jeśli wartość p jest mniejsza niż 5%, istnieje mniejsze niż 5% prawdopodobieństwo, że obserwowana różnica między A i B wynika z przypadku. Kursy te są konwencjonalnie przyjęte jako „wystarczająco dobre”, aby odrzucić hipotezę zerową i zaakceptować wariant B.
istnieje wiele narzędzi online do obliczania wartości P. Jednak podczas eksportowania danych z Google Analytics lub Mixpanel staje się bardzo powtarzalne wprowadzanie liczb ręcznie do kalkulatorów online. Szczególnie jeśli wykonujesz wiele obliczeń. Więc zrobiłem arkusz Excel, który oblicza wartość p dwóch ogonów., Można go pobrać za darmo z ExperimentationHub.com. ma szablon oparty na eksporcie GA / Mixpanel z formułą pojedynczej komórki do obliczania wartości p, którą można skopiować do arkusza Excel analizy eksperymentu.
jest to formuła:
gdzie Conv. to liczba konwersji i odwiedzin. jest liczbą odwiedzających (lub sesji) dla wariantu a lub B. norma.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂