vil du føle deg trygg, punk?
En solid hypotese, en power-analyse, og statistisk signifikans: den hellige treenighet av A/B-testing.
En solid hypotesen baserer din foreslått endring på innsikt, samtidig som du ærlig og jording eksperimentet i kvantitative eller kvalitative data., En strøm analyse gir deg minimum eksempel størrelsen som kreves for å være rimelig sikker på å finne fram til en endring og minimere iboende statistiske feil. Statistisk signifikans hjelper deg å forstå hvor overbevisende de eksperimentelle data er, og om du kan forkaste nullhypotesen.
resultatet av et eksperiment er statistisk signifikant hvis det er lite sannsynlig å oppstå ved en tilfeldighet alene. Ved usannsynlig mener vi at p-verdien (som beregnes ut fra målt eksperimentelle data) er mindre enn en terskel vi definerer før forsøket begynner, vanligvis på 5%., Hvis p-verdien er mindre enn 5% det er mindre enn 5% sannsynlighet for at den observerte forskjellen mellom A og B er på grunn av sjanse. Disse odds er konvensjonelt aksepterte å være «god nok» for å avvise nullhypotesen og godta B-varianten.
Det er mange online verktøy for å beregne p-verdien. Imidlertid, når du eksporterer data fra Google Analytics eller Mixpanel det blir veldig repeterende skrive inn tallene manuelt inn i online kalkulatorer. Spesielt hvis du gjør flere beregninger. Så jeg laget et Excel-ark som regner på de to-tailed p-verdi., Du kan laste ned denne gratis fra ExperimentationHub.com. Det har en mal basert på GA/Mixpanel eksport med en enkelt celle formel for å beregne p-verdien som du kan kopiere inn i eksperimentet analyse Excel-ark.
Dette er formelen:
Hvor conv. er antall konverteringer og besøk. antall besøkende (eller økter) for variant A eller B. NORM.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂