A/B Testing : Pourquoi la signification statistique est si importante

Les tests A/B sont l’une des techniques les plus utilisées pour l’optimisation des pages. Optimizely, Unbounce ou encore Kameleoon ne sont que quelques solutions vous permettant de prendre de meilleures décisions basées sur les données plutôt que sur certains instincts créatifs.
Mais pour éviter certaines erreurs de jugement, nous devons définir un niveau de confiance, connu comme « la signification statistique« . Cette signification statistique est le seul paramètre dont vous avez besoin pour mettre un terme à votre test.

Comme nous l’explique wikipedia, un résultat est dit statistiquement significatif lorsqu’il est improbable qu’il puisse être obtenu par un simple hasard.

signification-statistique

La signification statistique est atteinte lorsque la probabilité qu’une variation dépasse l’original est d’au moins 95%. Cela signifie qu’il y moins de 5% de chance que le résultat sera différent lorsqu’il sera appliqué sur un échantillon plus grand. Dans notre cas, tous les visiteurs de votre site.

Ainsi, plus vous vous y approchez, moins vous avez de chance de définir que telle ou telle version à plus efficace alors que cela n’est pas le cas. Pour autant, il existe un certain nombre d’autres facteurs à prendre en compte avant de définir le gagnant.

La taille de l’échantillon

Nous en parlons souvent. Faites attention à la taille de l’échantillon. Pour chaque test que vous allez effectuer, vous avez trois résultats possibles :

  • De bons résultats
  • Des faux négatifs
  • Des faux positifs

Alors que les faux positifs et les faux négatifs et ne peuvent pas vraiment être complètement évité, utiliser un échantillon plus large va toujours vous aider à réduire leur probabilité. Comme nous en parlions dans l’article L’A/B testing n’est qu’un mythe, il est difficile pour la majorité des sites de faire certains tests. D’autant plus que l’exécution d’une expérience sur un temps très long signifie – potentiellement – de passer à côté d’autres tests peut être plus bénéfiques. Il est donc important de trouver un équilibre viable pour votre entreprise.

Les cycles de vente

Tous les tests doivent être suffisamment long pour couvrir  des cycles de vente complet (une semaine complète ou un mois complet) pour prendre en compte certains facteurs externes. Les week-ends, le versement des salaires, les jours fériés…doivent également être pris en compte lors de vos tests. Même si votre site a une très forte affluence et peut atteindre la signification statistique en deux jours, si le test se déroule du mercredi au jeudi à la fin du mois, il est peu probable que le résultat sera pertinent sur le long terme. Ceci est particulièrement important alors que Noël approche. Ce qui est valable en novembre et en décembre peut ne plus l’être en janvier. La clé ici est d’être conscient de cela et faire vos tests en conséquence.

Des tests non concluants

Il n’est pas toujours possible d’exécuter des tests jusqu’à l’obtention de la signification statistique. On voit souvent des tests qui ne désignent pas de gagnant précis.  Les tests qui n’ont pas d’impact clair pendant une longue période de temps peuvent être préjudiciables pour votre business. Il faut donc savoir quand couper et continuer à avancer.

Même si un résultat négatif/non concluant peut laisser un petit impact sur votre ego, il ne doit en aucun cas être considéré comme une défaite ou une perte de temps. Chaque test que vous ferez vous apprendra quelque chose sur votre site, votre cible et leur comportement. Ces apprentissages constituent une partie importante du processus d’optimisation et finira par vous aider à formuler de meilleures hypothèses que vous pourrez valider à l’avenir.

Assurez-vous de prendre le temps de vraiment comprendre ce qui s’est passé dans chaque test, surtout si le résultat est négatif ou non concluant. Il n’y a pas pas de test inutile.

Lire la suite

Suivez-vous les bons indicateurs ?

Depuis les six dernières semaines, un chiffre était au centre de mes priorités. Ce n’est pas n’importe quel chiffre; c’est celui affiché sur ma balance. Vous l’aurez compris, je suis un régime et j’ai tendance à être un peu obsédé par les chiffres.

Vous imaginerez donc ma tristesse lorsque j’ai vu ce chiffre augmenté. D’autant plus que je pensais faire les choses correctement. De l’exercice, des repas sains etc… Pas d’écart mais les chiffres disaient le contraire

Pourtant, en regardant mes progrès plus en détails, j’ai pu voir que mon poids était inférieur à ce qu’il était quand j’ai commencé mon régime. Mon pourcentage de graisse a diminué. Je porte des pantalons que je ne pouvais plus porter…

Mesurer les bonnes choses

Peut-être mesurais-je la mauvaise chose. Je me suis énervée sur un chiffre qui signifiait pas vraiment quelque chose que dans le contexte qui m’importait. Les vêtements que je peux porter, comment je me sens. J’utilisais les mauvais indicateurs pour mesurer mon succès, et, ce faisant, je risquais de prendre de mauvaises décisions.

Combien de fois dans la vie nous laissons-nous aveugler – ou distraire – parce que nous mettons l’accent sur ​​les mauvaises mesures ? Qu’il s’agisse de penser que « le nombre d’eMails envoyés » est un signe de productivité, ou que la taille de votre équipe reflète votre réussite et/ou votre capacité à manager. Tous les jours nous sommes confrontés à des données qui pourraient nous conduire sur un chemin errant si nous les laissons faire.

Revalider VOS mesures

Il est important de revoir vos objectifs et mesures régulièrement. Reflètent-elles vraiment ce qui ressemble au succès pour vous ? Pourquoi et en quoi les mesures que vous analyser pour suivre vos progrès sont si importantes ? Sont-elles les bonnes ?

Ne laissez pas des mesures douteuses vous aveugler et vous inciter à prendre de mauvaises décisions. Prenez régulièrement un moment pour réfléchir à la façon dont vous mesurez vos étapes vers le succès et assurez-vous que cela soutient vos efforts pour l’atteinte de votre objectif.

Lire la suite

Vous avez un taux de rebond élevé ? Ne vous inquiétez pas

Pour beaucoup de personnes, le taux de rebond mesure le pourcentage de visites pour lesquelles les internautes ont immédiatement quitté votre page.

Dans Google Analytics, le taux de rebond a une définition légèrement différente :

Le taux de rebond correspond au pourcentage de visites au cours desquelles l’internaute n’a consulté qu’une seule page de votre site. (source)

La durée de cette visite n’est pas prise en compte. Pourquoi ? tout simplement parce que Google Analytics ne peut pas calculer la durée d’une visite d’une seule page, ni la durée de temps passé sur la dernière page vue au cours d’une session.
Essayez cet exercice simple dans l’un de vos comptes Google Analytics. Créez un segment personnalisé où vous n’afficherez que les visites d’une seule page.

Google_Analytics

Le taux de rebond sera de 100% et la durée moyenne sur le site sera est 00:00:00.

Présentation_de_l_audience_-_Google_Analytics

Comment Google Analytics mesure la durée moyenne des sessions

La durée moyenne est mesurée en calculant les secondes qui s’écoulent entre les appels vers Google Analytics (GA). Lorsque la première page d’une session est chargée, la code GA fait un appel au serveur. 3 minutes plus tard, le visiteur clique sur un lien pour aller visiter une autre page de votre site, un autre appel est effectué vers le serveur. A la fin de la session, Google calcule le temps passé sur la première page en faisant la différence.
Exemple : premier appel à 17h15, second appel à 17h18 : la durée passée sur la première page est de 3 minutes.
En parlant de « durée », nous ne parlons pas de « durée de lecture », l’internaute à pu ouvrir un nouvel onglet et basculer vers un autre.

Maintenant, un internaute passe 15 minutes sur la deuxième page avant quitter définitivement votre site. Lorsque la session expire ou que l’internaute ferme son navigateur, aucun appel n’est fait vers le serveur. De ce fait, comme Google n’a qu’une seule borne du segment (horodatage du début), il ne peut pas savoir quand la visite s’est achevée, il va simplement affectée une durée de 00:00:00.

Quand est-ce que le taux de rebond est un problème ?

Vous pourriez vous soucier du taux de rebond lorsque votre page contient un appel à l’action clair. Le taux de rebond indique que les visiteurs n’ont pas choisi de cliquer dessus. Dans les autres cas, il n’y à pas de réelle raison – selon moi – de passer des nuits blanches.

En soi, le taux de rebond n’est pas une mesure absolue de la façon dont vous capturez l’intérêt des visiteurs. Dorénavant, à chaque fois que vous voyez le terme « taux de rebond » dans Google Analytics, remplacez-le simplement par « taux de visites d’une page« . Vous saurez alors s’il y a un problème ou non.

Lire la suite

Coût par Acquisition ou Life Time Value : Quel indicateur d’acquisition choisir ?

Comme beaucoup d’analystes, j’ai pendant longtemps cherché à réduire au maximum le coût par acquisition de nos clients. En s’y penchant plus sérieusement, mettre l’accent sur la diminution – au maximum – du CPA, c’est dépenser le moins d’argent possible dans l’acquisition d’un de nos meilleurs atouts : un client.

En faisant une analogie avec le monde du travail, nous sommes tous plus ou moins d’accord avec le fait que les employés sont les meilleurs atouts de toute entreprise. Dans ce contexte, de nombreuses entreprises n’hésitent pas à investir des sommes importantes pour recruter (acquérir) des profiles intéressants : leurs atouts.

Mes employés ne sont pas performants mais ils ne m’ont pas couté cher

Connaissez-vous une entreprise se vantant d’avoir réduit les coûts d’acquisition de leurs employés ? Si tel est le cas, est-elle vraiment compétitive ? Quel est le taux de turnover ?

Il est donc primordial pour chaque entreprise d’acquérir le « meilleur » client, celui qui a la valeur vie la plus élevée et non celui qui a le coût d’acquisition le plus bas.

La ‘valeur vie client’ n’est pas un concept nouveau, ni le plus simple à calculer car cela nécessite une multitude de données visant à relier toutes les ventes effectuées par un client au cours de la durée de vie de ce client. Mais lorsqu’il est calculé et utilisé correctement, il peut être un indicateur de performance extrêmement puissant pour savoir combien vous pouvez (et devriez) investir sur l’acquisition d’un nouveau client.

Et vous ? Que choisiriez vous : Coût par Acquisition ou Life Time Value ?

Lire la suite

Suivre les Impressions sur les médias sociaux ?

« 3500 personnes ont vu cette publication ». C’est le genre de chiffres que les clients aiment lire dans les rapport, mais est-ce vraiment pertinent pour mesurer efficacement le ROI de vos campagnes ?

Bon nombre d’outils dédiés à l’analyse des campagnes sociales intègrent la notion « d’impression » dans leurs métriques relatifs à la performance de votre campagne. Mais qu’est-ce qu’une « impression » ?

Le terme « impression » sur les médias sociaux est étroitement lié à son homologue dans le monde de la publicité en ligne traditionnelle. Le nombre d’impressions peut donc se définir par le nombre d’impressions potentielles de votre message. En effet, il est impossible de de savoir si votre message – lancé au milieu de centaines d’autres messages sur Twitter ou Facebook est réellement perçu par l’utilisateur. La probabilité que tous vos utilisateurs étaient en ligne, ont vu, enregistré et assimilé votre message est peu probable.
Essayons de voir comment une impression sur les médias sociaux est calculée :

Sur Twitter par exemple, les «impressions» d’un tweet est le nombre total de followers de ce tweet. Autrement dit, le nombre de followers de l’expéditeur de tweet. A cela s’ajoute le nombre de retweet en prenant en compte le nombre de followers de chaque personne ayant retweeté le message et en filtrant les doublons éventuels.

Ainsi, contrairement à ce que l’excitation pourrait nous pousser à croire, le nombre d’impressions n’indique pas combien de personnes ont vu votre message. Mais simplement le nombre de fois ou la publication est apparue dans le fil de quelqu’un au cours de la période analysée. Rien ne permet de dire si l’utilisateur regardait son flux au moment de l’affichage.

Bien souvent, les marques et les agences mettent l’accent sur l’acquisition de nouveaux followers, sans prêter vraiment attention à la qualité de ces followers. Pourtant, chaque personne qui vous suit doit être en mesure d’interagir avec votre marque. Il est donc important de prendre en compte ces deux éléments lors du développement du nombres de followers : Qualité et quantité.

Vous n’avez pas réellement besoin du même nombre de followers que Britney Spears ou encore Lady Gaga pour avoir la campagne la plus rentable au monde.
Ce dont vous avez besoin c’est une poignée (aussi grosse que possible) de followers proactifs qui interagissent avec votre marque.
Par contre, vous pouvez utiliser les impressions pour comprendre ce qu’aime votre audience. Si vous voyez que les vidéos reçoivent plus d’impressions que les images par exemple, essayez de privilégier ce format. Mais ne vous préoccupez pas du nombre d’impressions pour mesurer le réel succès de votre campagne.

Lire la suite