magabiztosnak érzi magát, punk?
szilárd hipotézis, erőelemzés és statisztikai szignifikancia: az a/B tesztelés szentháromsága.
egy szilárd hipotézis a javasolt változást az insight-ra alapozza, őszintének tartva és kvantitatív vagy kvalitatív adatokban alapozva a kísérletet., A teljesítményelemzés megadja a minimális mintaméretet, amely ahhoz szükséges, hogy ésszerűen magabiztos legyen a változás azonosításában és a benne rejlő statisztikai hibák minimalizálásában. A statisztikai szignifikancia segít megérteni, hogy mennyire kényszerítő a kísérleti adatok, valamint hogy el lehet-e utasítani a null hipotézist.
egy kísérlet eredménye statisztikailag szignifikáns, ha nem valószínű, hogy önmagában véletlenül fordul elő. Nem valószínű, hogy azt értjük, hogy a p-érték (amelyet a mért kísérleti adatokból számítunk ki) kevesebb, mint egy küszöbérték, amelyet a kísérlet megkezdése előtt határozunk meg, általában 5%., Ha a p-érték kevesebb, mint 5%, akkor kevesebb, mint 5% a valószínűsége annak, hogy az A és B között megfigyelt különbség a véletlennek köszönhető. Ezek az esélyek hagyományosan elfogadott, hogy “elég jó”, hogy elutasítja a null hipotézist, és elfogadja a B változat.
számos online eszköz létezik a p-érték kiszámításához. Ha azonban adatokat exportál a Google Analytics-ből vagy a Mixpanel-ből, akkor nagyon ismétlődő lesz a számok kézi bevitele az online számológépekbe. Különösen akkor, ha több számítást végez. Így készítettem egy Excel lapot, amely kiszámítja a Kétfarkú p-értéket., Ezt ingyenesen letöltheti ExperimentationHub.com. ez egy sablon alapján GA / Mixpanel export egyetlen cellás képlet kiszámításához a p-érték, hogy lehet másolni a kísérlet elemzés Excel lap.
Ez a képlet:
Amennyiben konv. a konverziók és látogatások száma. az A vagy B változat látogatóinak száma (vagy munkamenetei).S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂