te simți încrezător, punk?
Un solid ipoteză, o putere de analiză, și de semnificație statistică: sfânta treime a A/B testing.
o ipoteză solidă bazează schimbarea propusă pe înțelegere, menținându-vă cinstit și fundamentând experimentul în date cantitative sau calitative., O analiză a puterii vă oferă dimensiunea minimă a eșantionului necesară pentru a avea încredere rezonabilă în identificarea unei modificări și minimizarea erorilor statistice inerente. Semnificația statistică vă ajută să înțelegeți cât de convingătoare sunt datele dvs. experimentale și dacă puteți respinge ipoteza nulă.rezultatul unui experiment este semnificativ statistic dacă este puțin probabil să apară doar din întâmplare. Prin improbabil înțelegem că valoarea p (care este calculată din datele experimentale măsurate) este mai mică decât un prag pe care îl definim înainte de începerea experimentului, de obicei 5%., Dacă valoarea p este mai mică de 5%, există o probabilitate mai mică de 5% ca diferența observată între A și B să se datoreze întâmplării. Aceste cote sunt acceptate în mod convențional pentru a fi „suficient de bune” pentru a respinge ipoteza nulă și a accepta varianta B.există multe instrumente online pentru a calcula valoarea P. Cu toate acestea, atunci când exportați date din Google Analytics sau Mixpanel, devine foarte repetitiv introducerea manuală a numerelor în calculatoarele online. Mai ales dacă faci mai multe calcule. Așa că am făcut o foaie Excel care calculează valoarea p cu două cozi., Puteți descărca acest lucru gratuit de la ExperimentationHub.com. are un șablon bazat pe exporturile GA / Mixpanel cu o singură formulă de celulă pentru calcularea valorii p pe care o puteți copia în foaia dvs. de analiză experimentală Excel.
Aceasta este formula:
în cazul în conv. este numărul de conversii și vizita. este numărul de vizitatori (sau sesiuni) pentru varianta A sau B. normă.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂