känner du dig trygg, punk?
en solid hypotes, en kraftanalys och statistisk betydelse: den heliga treenigheten av A / B testar.
en solid hypotes baserar din föreslagna förändring på insikt, håller dig ärlig och jord ditt experiment i kvantitativa eller kvalitativa data., En kraftanalys ger dig den minsta provstorlek som krävs för att vara rimligt säker på att identifiera en förändring och minimera inneboende statistiska fel. Statistisk betydelse hjälper dig att förstå hur övertygande dina experimentella data är och om du kan avvisa nollhypotesen.
resultatet av ett experiment är statistiskt signifikant om det är osannolikt att det uppstår av en slump ensam. Med osannolikt menar vi att p-värdet (som beräknas från de uppmätta experimentella data) är mindre än ett tröskelvärde som vi definierar innan experimentet börjar, vanligtvis 5%., Om p-värdet är mindre än 5% är det mindre än 5% sannolikhet att den observerade skillnaden mellan A och B beror på slumpen. Dessa odds accepteras konventionellt för att vara ”tillräckligt bra” för att avvisa nollhypotesen och acceptera B-varianten.
det finns många onlineverktyg för att beräkna p-värdet. Men när du exporterar data från Google Analytics eller Mixpanel det blir väldigt repetitiva in siffrorna manuellt i online räknare. Särskilt om du gör flera beräkningar. Så jag gjorde ett Excel-ark som beräknar det två-tailed p-värdet., Du kan ladda ner detta gratis från ExperimentationHub.com. den har en mall baserad på ga / Mixpanel export med en enda cell formel för beräkning av p-värde som du kan kopiera till ditt experiment Analys Excel-ark.
det här är formeln:
var conv. är antalet konverteringar och besök. är antalet besökare (eller sessioner) för variant A eller B. NORM.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂