Signification statistique : Que signifie réellement la signification statistique?

Définition de la signification statistique

La signification statistique est la probabilité que la différence des taux de conversion entre une variation donnée et la ligne de base ne soit pas due au hasard.

On dit qu'un résultat d'une expérience a une signification statistique, ou est statistiquement significatif, s'il n'est probablement pas causé par le hasard pour un niveau de signification statistique donné.

Votre niveau de signification statistique reflète votre tolérance au risque et votre niveau de confiance. Par exemple, si vous exécutez une expérience de test A / B avec un niveau de signification de 95%, cela signifie que si vous déterminez un gagnant, vous pouvez être sûr à 95% que les résultats observés sont réels et non une erreur causée par le hasard. Cela signifie également qu'il y a 5% de chances que vous vous trompiez.

Que signifie réellement la signification statistique?

La signification statistique est un moyen de prouver mathématiquement qu'une certaine statistique est fiable. Lorsque vous prenez des décisions en fonction des résultats des expériences que vous exécutez, vous voudrez vous assurer qu'une relation existe réellement.

Les propriétaires de sites Web en ligne, les spécialistes du marketing et les annonceurs se sont récemment intéressés à s'assurer que leurs expériences de test a / b (par exemple, test du taux de conversion a / b, modifications du contenu publicitaire, ajustements de la ligne d'objet des e-mails) obtiennent une signification statistique avant de sauter aux conclusions.

Votre niveau de signification statistique reflète votre tolérance au risque et votre niveau de confiance. Par exemple, si vous exécutez une expérience de test A / B avec un niveau de signification de 95%, cela signifie que si vous déterminez un gagnant, vous pouvez être sûr à 95% que les résultats observés sont réels et non une erreur causée par le hasard. Cela signifie également qu'il y a 5% de chances que vous vous trompiez.

Tester votre hypothèse

La signification statistique est la plus utilisée dans les tests d'hypothèses statistiques. Par exemple, vous voulez savoir si le changement de la couleur d'un bouton sur votre site Web du rouge au vert entraînera un plus grand nombre de personnes en cliquant dessus.

Si votre bouton est actuellement rouge, cela s'appelle votre «hypothèse nulle». Tourner votre bouton vert est connu comme votre «hypothèse alternative». Pour déterminer la différence observée dans un test de signification statistique, vous devrez prêter attention à deux résultats: la valeur p et l'intervalle de confiance autour de la taille de l'effet.

La valeur p fait référence à la valeur de probabilité d'observer un effet à partir d'un échantillon. Une valeur p <0,05 est le seuil conventionnel pour déclarer une signification statistique.

L'intervalle de confiance autour de la taille de l'effet fait référence aux limites supérieure et inférieure de ce qui peut arriver avec votre expérience.

Pourquoi l'importance statistique est-elle importante pour les entreprises?

La signification statistique est importante car elle vous donne l'assurance que les modifications que vous apportez à votre site Web ou à votre application ont réellement un impact positif sur votre taux de conversion et d'autres mesures. Vos métriques et vos chiffres peuvent fluctuer énormément d'un jour à l'autre, et l'analyse statistique fournit une base mathématique solide pour prendre des décisions commerciales et éliminer les faux positifs.

Un résultat statistiquement significatif n'est pas attribué au hasard et dépend de deux variables clés: la taille de l'échantillon et la taille de l'effet .

La taille de l'échantillon fait référence à la taille de l'échantillon de votre expérience. Plus la taille de votre échantillon est grande, plus vous pouvez avoir confiance dans le résultat de l'expérience (en supposant qu'il s'agit d'un échantillon aléatoire). Si vous exécutez des tests sur un site Web, plus votre site reçoit de trafic, plus tôt vous disposerez d'un ensemble de données suffisamment volumineux pour déterminer s'il existe des résultats statistiquement significatifs. Vous rencontrerez des erreurs d'échantillonnage si la taille de votre échantillon est trop faible.

La taille de l'effet fait référence à la taille de la différence des résultats entre les deux ensembles d'échantillons et indique une signification pratique. S'il y a une petite taille d'effet (par exemple une augmentation de 0,1% du taux de conversion), vous aurez besoin d'une très grande taille d'échantillon pour déterminer si cette différence est significative ou simplement due au hasard. Cependant, si vous observez un effet très important sur vos chiffres, vous pourrez le valider avec une taille d'échantillon plus petite avec un degré de confiance plus élevé.

Au-delà de ces deux facteurs, un élément clé à garder à l'esprit est l'importance de l'échantillonnage aléatoire. Si le trafic vers un site Web est réparti uniformément entre deux pages mais que l'échantillonnage n'est pas aléatoire, cela peut introduire des erreurs dues aux différences de comportement de la population échantillonnée.

Par exemple, si 100 personnes visitent un site Web et que tous les hommes voient une version d'une page et que toutes les femmes voient une version différente, alors une comparaison entre les deux n'est pas possible, même si le trafic est divisé 50-50, car la différence démographique pourrait introduire des variations dans les données. Un échantillon vraiment aléatoire est nécessaire pour déterminer que le résultat de l'expérience est statistiquement significatif.

Dans l'industrie pharmaceutique, les chercheurs utilisent les résultats de tests statistiques d'essais cliniques pour évaluer de nouveaux médicaments. Les résultats de la recherche à partir des tests de signification indiquent l'efficacité des médicaments qui peut stimuler le financement des investisseurs et fabriquer ou défaire un produit.

Calculez facilement la signification statistique

Le calcul précis de la signification statistique peut être une tâche compliquée qui nécessite une solide compréhension des statistiques et du calcul.

Pour résoudre ces problèmes courants, de nombreux outils ont été créé pour tester plus en moins de temps. En vous aidant à prendre des décisions statistiquement judicieuses en temps réel, ces outils vont ajuster les valeurs selon les besoins et partage des résultats fiables rapidement et avec précision.