sente-se confiante, punk?
Uma hipótese consistente, uma análise do poder, e a significância estatística: a santíssima trindade que é o teste A/B.uma hipótese sólida baseia a sua proposta de mudança no discernimento, mantendo-o honesto e ancorando a sua experiência em dados quantitativos ou qualitativos., Uma análise de poder dá-lhe o tamanho mínimo de amostra necessário para ser razoavelmente confiante de identificar uma mudança e minimizar os erros estatísticos inerentes. A significância estatística ajuda você a entender como seus dados experimentais são convincentes e se você pode rejeitar a hipótese nula.
O resultado de uma experiência é estatisticamente significativo se for improvável que ocorra apenas por acaso. Por improvável, queremos dizer que o valor p (que é calculado a partir dos dados experimentais medidos) é inferior a um limiar que definimos antes do início da experiência, geralmente 5%., Se o valor p for inferior a 5% há menos de 5% de probabilidade de que a diferença observada entre A e B seja devida ao acaso. Estas probabilidades são convencionalmente aceitas como” boas o suficiente ” para rejeitar a hipótese nula e aceitar a variante B.
Existem muitas ferramentas online para calcular o valor p. No entanto, quando você está exportando dados do Google Analytics ou Mixpanel, torna-se muito repetitivo inserir os números manualmente em calculadoras online. Especialmente se você estiver fazendo vários cálculos. Então fiz uma folha de Excel que calcula o valor de P de duas caudas., Você pode baixar isso gratuitamente de ExperimentationHub.com. ele tem um modelo baseado em exportações GA/Mixpanel com uma única fórmula celular para calcular o valor p que você pode copiar em sua folha de Análise de experimentos Excel.
Esta é a fórmula:
Onde conv. é o número de conversões e visitas. é o número de visitantes (ou sessões) para a variante A ou B. NORM.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂