Tehdä sinusta tuntuu varma, punk?
kiinteä hypoteesi, valta-analyysi ja tilastollinen merkitsevyys: pyhän kolminaisuuden A/B-testaus.
kiinteä hypoteesi perustaa ehdotetun muutoksen oivallus, joka pitää sinut rehellinen ja maadoitus kokeilun vuonna määrällisiä tai laadullisia tietoja., Voima-analyysi antaa sinulle pienin otoskoko tarvitse olla kohtuudella luottavainen on tunnistaa muutos ja minimoida luonnostaan tilastollisia virheitä. Tilastollinen merkitys auttaa ymmärtämään, kuinka vakuuttavaa kokeellinen tieto on ja voiko nollahypoteesin hylätä.
kokeen tulos on tilastollisesti merkitsevä, jos se ei todennäköisesti tapahdu pelkästään sattumalta. Todennäköisesti tarkoitamme, että p-arvo (joka lasketaan mitatuista kokeellisista tiedoista) on pienempi kuin kynnys, jonka määrittelemme ennen kokeen alkua, yleensä 5%., Jos p-arvo on pienempi kuin 5% on alle 5% todennäköisyys, että havaittu ero A-ja B-johtuu mahdollisuus. Nämä kertoimet hyväksytään perinteisesti ”riittävän hyviksi” hylätäkseen nollahypoteesin ja hyväksyäkseen B-variantin.
p-arvon laskemiseen on monia online-työkaluja. Kuitenkin, kun olet viemässä tietoja Google Analytics tai Mixpanel se tulee hyvin toistuvia kirjoittamalla numerot manuaalisesti online-laskimia. Varsinkin jos teet useita laskelmia. Tein Excel-levyn, joka laskee kaksipyrstöisen p-arvon., Voit ladata tämän ilmaiseksi ExperimentationHub.com. Se on malli, joka perustuu GA/Mixpanel vienti yhden solun laskentakaava p-arvo, jonka voit kopioida omaan kokeilu analyysi Excel.
Tämä on kaava:
Missä conv. on käännytysten ja käyntien määrä. on vierailijamäärä (tai istuntoja) variantti A tai B. normi.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂