¿te sientes seguro, punk?
Una hipótesis sólida, un análisis del poder, y la significación estadística: la santísima trinidad de A/B testing.
una hipótesis sólida basa su cambio propuesto en el conocimiento, manteniéndolo honesto y fundamentando su experimento en Datos Cuantitativos o cualitativos., Un análisis de potencia le proporciona el tamaño mínimo de muestra necesario para tener una confianza razonable en la identificación de un cambio y minimizar los errores estadísticos inherentes. La significación estadística le ayuda a comprender cuán convincentes son sus datos experimentales y si puede rechazar la hipótesis nula.
el resultado de un experimento es estadísticamente significativo si es poco probable que ocurra por casualidad. Por improbable queremos decir que el valor de p (que se calcula a partir de los datos experimentales medidos) es menor que un umbral que definimos antes de que comience el experimento, generalmente 5%., Si el valor de p es inferior al 5%, hay menos del 5% de probabilidad de que la diferencia observada entre A y B se deba al azar. Estas probabilidades se aceptan convencionalmente como «lo suficientemente buenas» para rechazar la hipótesis nula y aceptar la variante B.
Hay muchas herramientas en línea para calcular el valor p. Sin embargo, cuando exporta datos de Google Analytics o Mixpanel, se vuelve muy repetitivo ingresar los números manualmente en las calculadoras en línea. Particularmente si está haciendo varios cálculos. Así que hice una hoja de Excel que calcula el valor p de dos colas., Puede descargar esto de forma gratuita desde ExperimentationHub.com. tiene una plantilla basada en las exportaciones de GA/Mixpanel con una fórmula de celda única para calcular el valor p que puede copiar en su hoja de Excel de análisis de experimentos.
Esta es la fórmula:
Donde conv. es el número de conversiones y visitas. es el número de visitantes (o sesiones) para la variante A O B. norma.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂