Decide il visitatore, non la riunione

Ogni team che costruisce siti web conosce la riunione. Una pagina nuova è sullo schermo e tutti hanno un’opinione. Il designer preferisce la versione calma, il responsabile vendite vuole il prezzo più in alto, il fondatore ama il titolo che ha scritto lui. Siamo stati in quella riunione per anni, prima come agenzia e ora come azienda di prodotti, spesso accanto a ottimi esperti.

Poi la pagina va online e decidono i visitatori. Spesso decidono qualcosa che nessuno nella stanza si aspettava. Lo split testing è l’abitudine di lasciarli decidere di proposito: due versioni della stessa pagina, mostrate nello stesso momento a due gruppi casuali di visitatori reali, e resta quella che rende meglio.

L’idea che nessuno voleva

L’esempio più noto viene da Microsoft. Nel 2012 un dipendente che lavorava su Bing propose una piccola modifica al modo in cui venivano mostrati i titoli degli annunci. A un ingegnere sarebbero serviti pochi giorni. Era una tra centinaia di idee, i program manager le diedero una valutazione bassa e rimase intoccata per più di sei mesi.

Quando un ingegnere finalmente eseguì un semplice test, la nuova versione produsse ricavi così alti da far scattare un avviso che di solito segnala un bug. Non era un bug. Ron Kohavi e Stefan Thomke hanno scritto sulla Harvard Business Review che la modifica aveva aumentato i ricavi del 12 per cento, oltre 100 milioni di dollari all’anno solo negli Stati Uniti, senza danneggiare le misure dell’esperienza utente. L’hanno definita la migliore idea generatrice di ricavi nella storia di Bing.

Lo stesso articolo descrive il caso opposto. Mostrare contenuti di Facebook e Twitter in un terzo riquadro nella pagina dei risultati di Bing è costato a Microsoft più di 25 milioni di dollari di sviluppo e ha prodotto guadagni trascurabili in coinvolgimento e ricavi. Poco sforzo, grande effetto. Grande sforzo, piccolo effetto. Nessuno poteva dire in anticipo quale fosse quale.

Quando gli esperti erano sicuri

Nel 2013 Bing ha testato lievi modifiche ai colori di titoli, link e didascalie nella pagina dei risultati. Le differenze erano appena visibili e gli esperti di design si sono mostrati scettici quando i risultati sono tornati positivi: le persone trovavano ciò che volevano più spesso e più in fretta. Così il test è stato ripetuto con 32 milioni di utenti. Il risultato ha tenuto e la modifica è stata stimata in oltre 10 milioni di dollari all’anno. Per anni, notano gli autori, Microsoft si era affidata a designer esperti anziché al comportamento di utenti reali per stabilire le proprie linee guida di stile.

La politica ha una sua versione. A dicembre 2007 la campagna di Obama ha testato la propria pagina di iscrizione con 24 combinazioni di pulsanti, immagini e video su più di 310'000 visitatori. Dan Siroker, che ha condotto l’analisi, ha scritto in seguito che lo staff amava i video e probabilmente ne avrebbe usato uno. Ogni video ha fatto peggio di ogni immagine. Il vincitore, una foto di famiglia con un pulsante con la scritta «Learn More», ha portato il tasso di iscrizione dall’8,26 all’11,6 per cento, un miglioramento del 40,6 per cento.

La maggior parte delle idee non funziona

La parte scomoda è il tasso di base. Kohavi e Thomke riferiscono che in Google e Bing solo dal 10 al 20 per cento circa degli esperimenti produce risultati positivi e che in tutta Microsoft un terzo delle idee si rivela efficace, un terzo è neutro e un terzo peggiora le cose. Thomke, che ha studiato Booking.com, un’azienda che esegue circa 25'000 test all’anno, indica come cifra generale circa il 10 per cento di esperimenti che migliorano il risultato aziendale.

Non è un motivo di sconforto. È un motivo di umiltà. Se la maggior parte delle idee di cui le persone esperte sono sicure non fa nulla o fa danni, un’azienda che cambia il proprio sito solo sulla base delle opinioni pubblica anche quelle, e non lo scopre mai. I test trovano i vincitori. Altrettanto importante, fermano in silenzio i perdenti.

Le aziende con più dati prendono la cosa più sul serio. A settembre 2025 OpenAI ha acquistato Statsig, un’azienda di test di prodotto, con un’operazione interamente in azioni che TechCrunch ha valutato 1,1 miliardi di dollari.

Come testare in modo onesto

Un test può trarre in inganno con la stessa facilità di una riunione. Ricercatori della Wharton hanno studiato più di 2'100 esperimenti eseguiti su Optimizely nel 2014 e hanno rilevato che il 57 per cento degli sperimentatori controllava i risultati man mano che arrivavano e si fermava appena un test superava il 90 per cento di significatività. Secondo la loro stima, quell’abitudine faceva salire la quota di risultati significativi falsi da circa il 30 al 42 per cento.

Poche regole mantengono onesto un test. Decidete l’obiettivo prima che il test inizi e fate che sia quello che conta: lead, vendite o ricavi, non clic. Decidete quanto dura, in settimane intere, e non fermatelo perché la curva sembra buona di martedì. Dividete i visitatori a caso e controllate la divisione: la piattaforma di Microsoft segnala un sample ratio mismatch quando i gruppi differiscono dal piano, e tali risultati sono spesso nulli. Cambiate una cosa chiara alla volta, così la causa resta chiara.

E diffidate delle grandi vittorie. Kohavi e Thomke citano la legge di Twyman: «Qualsiasi cifra che sembri interessante o diversa è di solito sbagliata». Eseguite di nuovo un risultato sorprendente prima di festeggiarlo e tenete i perdenti in un registro. Un test fallito dice comunque qualcosa sui vostri clienti.

Che cosa cambia quando si testa

Il cambiamento più grande non è sulla pagina. È nella riunione. Quando ogni modifica importante può essere testata, un disaccordo smette di essere una gara di grado e la domanda diventa che cosa testare per primo. Un junior può portare un’idea senza dover vincere una discussione e un esperto può sbagliarsi senza perdere la faccia.

Resta umano tutto ciò che precede i numeri: le idee che valgono un test, il giudizio su ciò che un brand non dovrebbe mai provare anche se vincerebbe e la responsabilità di ciò che va online. Un test può dirvi quale titolo vende. Non può dirvi se dovreste dirlo.

Dove entra Proof

Abbiamo costruito Proof perché gli strumenti che avevamo provato erano pensati per team di test, non per aziende. Esegue split test su siti web, landing page, shop, e-mail e newsletter, divide i visitatori in modo equo e proclama un vincitore solo quando il risultato regge, misurato su lead, vendite o ricavi. I suoi agenti propongono il test successivo e scrivono le varianti, e una persona approva ciascuna. Proof è in accesso anticipato e gira prima sulle nostre pagine. Le pagine stesse possono vivere in Studio, dove ogni pubblicazione viene controllata, testata, messa online, controllata di nuovo e ripristinata da sola se qualcosa fallisce.

Da dove cominciare: scegliete la pagina che porta più lead o vendite, scrivete che cosa credete che la migliorerebbe e mettete alla prova quella convinzione contro la versione attuale per almeno due settimane intere. Qualunque sia il risultato, saprete qualcosa che prima supponevate soltanto.