máte pocit jistoty, punk?
solidní hypotézu, moc analýzy a statistické významnosti: svatá trojice A/B testování.
solidní hypotéza základny navrhované změny na pohled, udržet si upřímný a uzemnění experimentu v kvantitativní nebo kvalitativní údaje., Power analýza vám dává minimální velikost vzorku musí být přiměřeně jistý, identifikace změnit a minimalizaci vlastní statistické chyby. Statistická významnost vám pomůže pochopit, jak přesvědčivé jsou vaše experimentální data a zda můžete odmítnout nulovou hypotézu.
výsledek experimentu je statisticky významný, pokud je nepravděpodobné, že dojde náhodou sám. Nepravděpodobně máme na mysli, že hodnota p (která se vypočítá z naměřených experimentálních dat) je menší než prahová hodnota, kterou definujeme před zahájením experimentu, obvykle 5%., Pokud je hodnota p menší než 5%, je menší než 5% pravděpodobnost, že pozorovaný rozdíl mezi A A B je způsoben náhodou. Tyto kurzy jsou běžně přijímány být „dost dobrý“ odmítnout nulovou hypotézu a přijmout B varianta.
existuje mnoho online nástrojů pro výpočet hodnoty p. Pokud však exportujete data z Google Analytics nebo Mixpanel, stává se velmi opakovaným zadáváním čísel ručně do online kalkulaček. Zvláště pokud děláte více výpočtů. Tak jsem udělal Excel list, který vypočítá dvouocasý p-hodnotu., Si můžete stáhnout zdarma z ExperimentationHub.com. To má šablonu na základě GA/Mixpanel vývoz s jedné buňky vzorec pro výpočet p-hodnoty, která můžete zkopírovat do vašeho experimentu analýzu listu aplikace Excel.
To je vzorec:
Kde conv. je počet konverzí a návštěvy. je počet návštěvníků (nebo relací) pro variantu a nebo B.norma.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂