Ti senti sicuro, punk?
Una solida ipotesi, una analisi della potenza, e la significatività statistica: trinità di A/B testing.
Una solida ipotesi basa il cambiamento proposto sulla comprensione, mantenendoti onesto e fondando il tuo esperimento in dati quantitativi o qualitativi., Un’analisi di potenza fornisce la dimensione minima del campione necessaria per essere ragionevolmente sicuri di identificare un cambiamento e ridurre al minimo gli errori statistici intrinseci. La significatività statistica ti aiuta a capire quanto siano convincenti i tuoi dati sperimentali e se puoi rifiutare l’ipotesi nulla.
Il risultato di un esperimento è statisticamente significativo se è improbabile che si verifichi solo per caso. Con improbabile si intende che il p-value (che viene calcolato dai dati sperimentali misurati) è inferiore a una soglia che definiamo prima dell’inizio dell’esperimento, di solito 5%., Se il valore p è inferiore al 5% c’è meno del 5% di probabilità che la differenza osservata tra A e B sia dovuta al caso. Queste probabilità sono convenzionalmente accettate per essere “abbastanza buone” per rifiutare l’ipotesi nulla e accettare la variante B.
Esistono molti strumenti online per calcolare il valore P. Tuttavia, quando si esportano dati da Google Analytics o Mixpanel diventa molto ripetitivo inserendo i numeri manualmente nei calcolatori online. Soprattutto se stai facendo più calcoli. Così ho fatto un foglio Excel che calcola il valore p a due code., È possibile scaricare questo gratuitamente da ExperimentationHub.com. Ha un modello basato sulle esportazioni GA/Mixpanel con una formula a cella singola per calcolare il valore p che è possibile copiare nel foglio Excel di analisi dell’esperimento.
Questa è la formula:
Dove conv. è il numero di conversioni e visite. è il numero di visitatori (o sessioni) per la variante A o B. NORM.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂