fühlen Sie sich zuversichtlich, punk?
Eine Feste Hypothese, eine power-Analyse und statistischen Bedeutung: die Heilige Dreifaltigkeit von A/B-Tests.
Eine solide Hypothese stützt Ihre vorgeschlagene Änderung auf Einsicht, um Sie ehrlich zu halten und Ihr Experiment in quantitativen oder qualitativen Daten zu begründen., Eine Leistungsanalyse gibt Ihnen die minimale Stichprobengröße, die erforderlich ist, um einigermaßen sicher zu sein, eine Änderung zu identifizieren und inhärente statistische Fehler zu minimieren. Statistische Signifikanz hilft Ihnen zu verstehen, wie überzeugend Ihre experimentellen Daten sind und ob Sie die Nullhypothese ablehnen können.
Das Ergebnis eines Experiments ist statistisch signifikant, wenn es unwahrscheinlich ist, dass es allein zufällig auftritt. Damit meinen wir, dass der p-Wert (der aus den gemessenen experimentellen Daten berechnet wird) kleiner als ein Schwellenwert ist, den wir vor Beginn des Experiments definieren, normalerweise 5%., Wenn der p-Wert weniger als 5% beträgt, besteht eine Wahrscheinlichkeit von weniger als 5%, dass der beobachtete Unterschied zwischen A und B auf den Zufall zurückzuführen ist. Diese Chancen werden herkömmlicherweise als „gut genug“ akzeptiert, um die Nullhypothese abzulehnen und die B-Variante zu akzeptieren.
Es gibt viele Online-Tools, um den p-Wert zu berechnen. Wenn Sie jedoch Daten aus Google Analytics oder Mixpanel exportieren, wird es sehr repetitiv, die Zahlen manuell in Online-Rechner einzugeben. Besonders wenn Sie mehrere Berechnungen durchführen. Also habe ich eine Excel-Tabelle erstellt, die den p-Wert mit zwei Schwänzen berechnet., Sie können dies kostenlos herunterladen von ExperimentationHub.com. Es verfügt über eine Vorlage, die auf GA/Mixpanel-Exporten basiert, mit einer einzigen Zellformel zur Berechnung des p-Werts, den Sie in Ihre Excel-Tabelle für die Experimentanalyse kopieren können.
Dies ist die Formel:
Wobei conv. ist die Anzahl der conversions und besuchen. ist die Anzahl der Besucher (oder Sitzungen) für Variante A oder B. NORM.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂