vous sentez-vous confiant, punk?
Une hypothèse solide, une analyse de la puissance, et la signification statistique: la sainte trinité de l’A/B testing.
une hypothèse solide fonde votre changement proposé sur la perspicacité, vous gardant honnête et ancrant votre expérience dans des données quantitatives ou qualitatives., Une analyse de puissance vous donne la taille d’échantillon minimale requise pour être raisonnablement sûr d’identifier un changement et de minimiser les erreurs statistiques inhérentes. La signification statistique vous aide à comprendre à quel point vos données expérimentales sont convaincantes et si vous pouvez rejeter l’hypothèse nulle.
le résultat d’une expérience est statistiquement significatif s’il est peu probable qu’il se produise par hasard seul. Par improbable, nous entendons que la valeur p (qui est calculée à partir des données expérimentales mesurées) est inférieure à un seuil que nous définissons avant le début de l’expérience, généralement 5%., Si la valeur p est inférieure à 5%, Il y a moins de 5% de probabilité que la différence observée entre A et B soit due au hasard. Ces cotes sont classiquement acceptées pour être” assez bonnes » pour rejeter l’hypothèse nulle et accepter la variante B.
Il existe de nombreux outils en ligne pour calculer la p-valeur. Cependant, lorsque vous exportez des données à partir de Google Analytics ou Mixpanel, il devient très répétitif d’entrer les chiffres manuellement dans les calculatrices en ligne. Surtout si vous effectuez plusieurs calculs. J’ai donc fait une feuille Excel qui calcule la valeur p à deux queues., Vous pouvez le télécharger gratuitement à partir de ExperimentationHub.com. il a un modèle basé sur les exportations GA/Mixpanel avec une formule à cellule unique pour calculer la valeur p que vous pouvez copier dans votre feuille Excel d’analyse d’expérience.
C’est la formule:
Où conv. est le nombre de conversions et de visite. est le nombre de visiteurs (ou de sessions) pour la variante A ou B. norme.S.,DIST is an Excel function that returns the standard normal distribution.
For this spreadsheet configuration:
The p-value formula looks like this:
Or just download the Excel sheet and get analysing 🙂