føler du dig selvsikker, punk?
En solid hypotese, en magt, analyse og statistisk signifikans: den hellige treenighed af A/B-test.
en solid hypotese baserer din foreslåede ændring på indsigt, holder dig ærlig og jordforbindelse dit eksperiment i kvantitative eller kvalitative data., En effektanalyse giver dig den mindste prøvestørrelse, der kræves for at være rimelig sikker på at identificere en ændring og minimere iboende statistiske fejl. Statistisk betydning hjælper dig med at forstå, hvor overbevisende dine eksperimentelle data er, og om du kan afvise nulhypotesen.
resultatet af et eksperiment er statistisk signifikant, hvis det sandsynligvis ikke forekommer tilfældigt alene. Med usandsynligt mener vi, at p-værdien (som beregnes ud fra de målte eksperimentelle data) er mindre end en tærskel, vi definerer, før eksperimentet begynder, normalt 5%., Hvis p-værdien er mindre end 5%, er der mindre end 5% Sandsynlighed for, at den observerede forskel mellem A og B skyldes tilfældigheder. Disse odds accepteres konventionelt at være” gode nok ” til at afvise nulhypotesen og acceptere B-varianten.
Der er mange online værktøjer til at beregne p-værdien. Men når du eksporterer data fra Google Analytics eller mi .panel bliver det meget gentagne indtastning af tallene manuelt i online regnemaskiner. Især hvis du laver flere beregninger. Så jeg lavede et e .cel-ark, der beregner den to-tailed p-værdi., Du kan downloade det gratis fra ExperimentationHub.com. Det er en skabelon, der er baseret på GA/Mixpanel eksport med en enkelt celle-formel til beregning af p-værdi, som du kan kopiere ind i dit eksperiment analyse Excel-ark.
Dette er formlen:
Hvor conv. er antallet af konverteringer og besøg. er antallet af besøgende (eller sessioner) for variant A eller B. NORM.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂