C’est le visiteur qui décide, pas la réunion

Toute équipe qui construit des sites web connaît cette réunion. Une nouvelle page est à l’écran, et chacun a un avis. La designer préfère la version sobre, le responsable des ventes veut le prix plus haut, le fondateur aime le titre qu’il a écrit lui-même. Nous avons siégé à cette réunion pendant des années, d’abord comme agence et maintenant comme entreprise de produits, souvent à côté d’excellents experts.

Puis la page est mise en ligne et ce sont les visiteurs qui décident. Souvent, ils décident quelque chose que personne dans la salle n’attendait. Le test A/B est l’habitude de les laisser décider délibérément : deux versions de la même page, présentées en même temps à deux groupes aléatoires de vrais visiteurs, et celle qui fait mieux reste.

L’idée dont personne ne voulait

L’exemple le plus connu vient de Microsoft. En 2012, un employé travaillant sur Bing a proposé une petite modification de la façon dont les titres d’annonces étaient affichés. Il faudrait quelques jours à un ingénieur. C’était une idée parmi des centaines, les chefs de programme l’avaient mal classée, et elle est restée intouchée pendant plus de six mois.

Lorsqu’un ingénieur a enfin lancé un test simple, la nouvelle version a généré des revenus si élevés qu’elle a déclenché une alerte qui signale habituellement un bogue. Ce n’en était pas un. Ron Kohavi et Stefan Thomke ont écrit dans la Harvard Business Review que ce changement avait fait augmenter les revenus de 12 pour cent, soit plus de 100 millions de dollars par an aux seuls États-Unis, sans dégrader les indicateurs d’expérience utilisateur. Ils l’ont qualifié de meilleure idée génératrice de revenus de l’histoire de Bing.

Le même article décrit le cas inverse. Afficher des contenus de Facebook et de Twitter dans un troisième volet de la page de résultats de Bing a coûté plus de 25 millions de dollars à Microsoft pour le construire, et n’a produit que des gains négligeables en engagement et en revenus. Petit effort, grand effet. Grand effort, petit effet. Personne ne pouvait dire à l’avance lequel était lequel.

Quand les experts étaient sûrs

En 2013, Bing a testé de légères modifications des couleurs des titres, des liens et des légendes de sa page de résultats. Les différences étaient à peine visibles, et les experts en design se sont montrés sceptiques lorsque les résultats se sont révélés positifs : les gens trouvaient ce qu’ils cherchaient plus souvent et plus vite. Le test a donc été relancé avec 32 millions d’utilisateurs. Le résultat a tenu, et la modification a été estimée à plus de 10 millions de dollars par an. Pendant des années, notent les auteurs, Microsoft s’était fié à des designers experts plutôt qu’au comportement d’utilisateurs réels pour définir ses guides de style.

La politique a sa propre version. En décembre 2007, la campagne d’Obama a testé sa page d’inscription avec 24 combinaisons de boutons, d’images et de vidéos auprès de plus de 310'000 visiteurs. Dan Siroker, qui menait l’analyse, a écrit plus tard que l’équipe adorait les vidéos et en aurait probablement utilisé une. Chaque vidéo a fait moins bien que chaque image. Le vainqueur, une photo de famille avec un bouton portant la mention « Learn More », a fait passer le taux d’inscription de 8,26 à 11,6 pour cent, soit une amélioration de 40,6 pour cent.

La plupart des idées ne fonctionnent pas

Le plus inconfortable, c’est le taux de base. Kohavi et Thomke rapportent que chez Google et Bing, seulement 10 à 20 pour cent environ des expériences produisent des résultats positifs, et que, dans l’ensemble de Microsoft, un tiers des idées se révèlent efficaces, un tiers sont neutres et un tiers aggravent les choses. Thomke, qui a étudié Booking.com, une entreprise qui mène quelque 25'000 tests par an, situe le chiffre général à environ 10 pour cent d’expériences qui améliorent le résultat net.

Ce n’est pas une raison de désespérer. C’est une raison d’être humble. Si la plupart des idées dont des personnes expérimentées sont sûres ne servent à rien ou font du tort, une entreprise qui modifie son site sur la seule base d’opinions les met aussi en ligne, et ne le saura jamais. Le test trouve les gagnantes. Tout aussi important, il arrête discrètement les perdantes.

Les entreprises qui disposent du plus de données prennent cela le plus au sérieux. En septembre 2025, OpenAI a racheté Statsig, une entreprise de test de produits, dans une opération entièrement en actions que TechCrunch a chiffrée à 1,1 milliard de dollars.

Comment tester honnêtement

Un test peut tromper aussi facilement qu’une réunion. Des chercheurs de Wharton ont étudié plus de 2'100 expériences menées sur Optimizely en 2014 et constaté que 57 pour cent des expérimentateurs consultaient leurs résultats au fil de l’eau et arrêtaient le test dès qu’il franchissait 90 pour cent de significativité. D’après leur estimation, cette habitude faisait passer la part de résultats significatifs qui étaient faux d’environ 30 à 42 pour cent.

Quelques règles suffisent à garder un test honnête. Fixez l’objectif avant le début du test, et choisissez celui qui compte : des prospects, des ventes ou du chiffre d’affaires, pas des clics. Décidez de la durée, en semaines entières, et ne l’arrêtez pas parce que la courbe a bonne mine un mardi. Répartissez les visiteurs au hasard et vérifiez la répartition : la plateforme de Microsoft signale un écart de ratio d’échantillon (sample ratio mismatch) lorsque les groupes s’écartent du plan, et de tels résultats sont souvent nuls. Ne changez qu’une chose claire à la fois, afin que la cause reste lisible.

Et méfiez-vous des grosses victoires. Kohavi et Thomke citent la loi de Twyman : « Tout chiffre qui paraît intéressant ou différent est généralement faux. » Relancez un résultat surprenant avant de le fêter, et consignez les perdants dans un journal. Un test qui a échoué vous apprend quand même quelque chose sur vos clients.

Ce qui change quand on teste

Le plus grand changement ne se trouve pas sur la page. Il est dans la réunion. Quand chaque changement important peut être testé, un désaccord cesse d’être un bras de fer hiérarchique, et la question devient : que tester d’abord. Un junior peut apporter une idée sans devoir gagner une discussion, et un expert peut se tromper sans perdre la face.

Ce qui reste humain, c’est tout ce qui précède les chiffres : les idées qui valent la peine d’être testées, le jugement sur ce qu’une marque ne devrait jamais essayer même si cela gagnait, et la responsabilité de ce qui est mis en ligne. Un test peut vous dire quel titre vend. Il ne peut pas vous dire si vous devriez le dire.

Où se situe Proof

Nous avons construit Proof parce que les outils que nous avons essayés étaient conçus pour des équipes de test, pas pour des entreprises. Il mène des tests A/B sur des sites web, des pages d’atterrissage, des boutiques, des e-mails et des newsletters, répartit les visiteurs équitablement et ne désigne un gagnant que lorsque le résultat tient, mesuré en prospects, en ventes ou en chiffre d’affaires. Ses agents proposent le test suivant et rédigent les variantes, et une personne approuve chacune d’elles. Proof est en accès anticipé et tourne d’abord sur nos propres pages. Les pages elles-mêmes peuvent vivre dans Studio, où chaque publication est vérifiée, testée, mise en ligne, vérifiée de nouveau et annulée automatiquement si quelque chose échoue.

Par où commencer : choisissez la page qui apporte le plus de prospects ou de ventes, notez ce que vous croyez pouvoir l’améliorer, et testez cette croyance contre la version actuelle pendant au moins deux semaines entières. Quel que soit le résultat, vous saurez quelque chose que vous ne faisiez que supposer auparavant.