chargement…

L’AB testing a évolué… Optimisez votre conversion

Introduction

L’AB testing est une technique qui consiste a tester par la pratique deux versions A & B d’une même page d’un site. On identifiera alors, selon des critères objectifs, quelle est la plus efficace. Pour cela on crée les deux pages et on divise aléatoirement le trafic vers ces deux pages. On attend alors d’avoir eu suffisamment de visiteurs pour mesurer leur efficacité relative. Les critères objectifs de performance peuvent être le nombre de ventes pour un site marchand ou le nombre de pages vues pour un site média, par exemple. Une fois la meilleure page identifiée c’est celle qui devient alors la page utilisée pour tous les visiteurs. Il est étonnant de voir que parfois des modifications même mineures peuvent avoir un impact non négligeable.
Cette technique est éprouvée maintenant et utilisée en standard par (presque) tous les sites web commerciaux.

C’est bien beau, mais…

En pratique la version A est la page originale, et la page B est une variation de la page originale. Il est tout à fait probable que la page B soit moins efficace que la A, et par conséquent, on perdra alors des conversions pendant toute la période du test. C’est dommage mais c’est un coût nécessaire pour savoir que la version B est moins bonne que la A. De même, si c’est la version B qui s’avère être la meilleure, on aura perdu des conversions sur le trafic qu’on aura envoyé sur la version A… Là aussi on se doute que c’est le prix à payer pour savoir que la version B est la meilleure…

Biens sûr dans pris dans l’ensemble, l’activité de l’AB testing est bénéfique. On perd un peu de conversion pendant la (courte) période de test, et on exploite longtemps la variation gagnante.

Le bilan est positif, mais on peut encore faire mieux…

Pendant le test, au lieux de diviser le trafic de visiteurs en 2 parties égales, on choisit des proportions qui  reflètent les probabilités de chaque variation d’être la meilleure. Ce calcul n’est pas simple mais il y a des outils qui le font pour vous. Ces probabilités évoluent au fur et à mesure de l’avancée du test. Au début elles sont uniformes car on ne sait rien de leurs performances, puis on en apprend de plus en plus grâce aux actions des visiteurs. Le trafic s’ajuste alors et permet, en moyenne, d’envoyer moins de trafic à la moins bonne des variations.

A/B testing

Cette technique est appelée Thompson sampling et a des propriétés très intéressantes :

  • On est assuré de bien trouver la vraie meilleur variation.Attention, il existe des technique bien plus simples, qui n’exigent pas de calculer les probabilité de victoire de chaque variation, mais ces techniques vous font prendre le risque de choisir une variation qui n’est pas la meilleure ! On prend le risque de ne pas envoyer assez de trafic vers la variation qui est la meilleure qui mais a ponctuellement, transitoirement, eu de mauvaise performances.
  • On minimise le regret : on économise des conversions, ainsi le coût total du test est moindre.
  • L’allocation dynamique permet d’identifier rapidement les plus mauvaises variations, on peut alors se permettre d’essayer plus que 2 variations. Par exemple sur 5 variations, il est très probable qu’au moins 3 ont de très mauvaises performances. L’algorithme de Thompson va pouvoir le détecter, et il va progressivement leur enlever de trafic pour le rediriger vers les 2 variations restantes.
    Ainsi, on peut tester 5 variations là où on ne pouvait en tester que 2, avec le même niveau de trafic.

Conclusion

 

Cette technique permet donc de réaliser plus de tests avec le même niveau de trafic mais surtout elle rend les tests moins coûteux (en nombre de conversions).
C’est seulement pour les tests « exploratoires » : où l’on n’a pas de critère unique de performance d’une page, qu’il est déconseillé d’utiliser une telle technique. Typiquement un test sur une « landing page » où l’on désire minimiser le taux de rebond, augmenter l’accès aux pages du catalogue produits, et augmenter l’inscription à une « newsletter ». Dans ce cas, le risque serait, par exemple de minimiser le taux de rebond (si c’est le critère sélectionné), mais si le taux d’accès aux pages du catalogue baisse, l’algorithme ne s’en souciera pas… Dans ce cas un AB testing classique est plus adapté, et c’est l’expert marketing qui fera la décision finale, en fonction de plusieurs critères.
En bref, si on sait sur quel critère on veut évaluer la performance d’une page, et que ce critère est unique, il n’y a aucune raison de ne pas profiter de l’allocation dynamique, car elle a tous les avantages.

 

hubertHubert Wassner
Data scientist AB Tasty
logoAB

L’AB testing a évolué… Optimisez votre conversion

Temps de lire : 3 min
0