heb je vertrouwen, punk?
a free Excel p-value significance calculator
a solid hypothesis, a power analysis, and statistical significance: the Holy Trinity of a/B testing.
een solide hypothese baseert uw voorgestelde verandering op inzicht, houdt u eerlijk en aardt uw experiment in kwantitatieve of kwalitatieve gegevens., Een vermogensanalyse geeft u de minimale steekproefgrootte die nodig is om redelijk zeker te zijn van het identificeren van een verandering en het minimaliseren van inherente statistische fouten. Statistische significantie helpt u te begrijpen hoe overtuigend uw experimentele gegevens zijn en of u de nulhypothese kunt afwijzen.
het resultaat van een experiment is statistisch significant indien het onwaarschijnlijk is dat het bij toeval alleen voorkomt. Met onwaarschijnlijk bedoelen we dat de p-waarde (die wordt berekend uit de gemeten experimentele gegevens) lager is dan een drempel die we definiëren voordat het experiment begint, meestal 5%., Als de p-waarde minder dan 5% is, is de kans kleiner dan 5% dat het waargenomen verschil tussen A en B het gevolg is van toeval. Deze kansen worden conventioneel geaccepteerd als “goed genoeg” om de nulhypothese te verwerpen en de B-variant te accepteren.
Er zijn veel online tools om de p-waarde te berekenen. Echter, wanneer u gegevens van Google Analytics of Mixpanel exporteren wordt het zeer repetitief invoeren van de nummers handmatig in online rekenmachines. Vooral als je meerdere berekeningen doet. Dus maakte ik een Excel-blad dat de tweestaart p-waarde berekent., U kunt dit gratis downloaden van ExperimentationHub.com. het heeft een sjabloon op basis van Ga/Mixpanel-export met een eencellige formule voor het berekenen van de p-waarde die u kunt kopiëren naar uw Excel-blad voor experimentanalyse.
Dit is de formule:
waarbij conv. is het aantal conversies en bezoek. is het aantal bezoekers (of sessies) voor variant A of B. NORM.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂