Quem decide é o visitante, não a reunião

Toda equipe que constrói sites conhece a reunião. Uma página nova está na tela, e todo mundo tem uma opinião. O designer prefere a versão mais calma, o líder de vendas quer o preço mais acima, o fundador gosta do título que ele mesmo escreveu. Passamos anos nessa reunião, como agência e agora como empresa de produtos, muitas vezes ao lado de especialistas muito bons.

Depois a página vai ao ar e os visitantes decidem. Muitas vezes decidem algo que ninguém na sala esperava. O teste A/B é o hábito de deixá-los decidir de propósito: duas versões da mesma página, mostradas ao mesmo tempo a dois grupos aleatórios de visitantes reais, e fica a que tiver melhor desempenho.

A ideia que ninguém queria

O exemplo mais conhecido vem da Microsoft. Em 2012, um funcionário que trabalhava no Bing propôs uma pequena mudança na forma como os títulos dos anúncios eram exibidos. Um engenheiro levaria alguns dias para fazê-la. Era uma entre centenas de ideias, os gerentes de programa lhe deram pouca prioridade, e ela ficou parada por mais de seis meses.

Quando um engenheiro finalmente fez um teste simples, a nova versão gerou uma receita tão alta que disparou um alerta que costuma sinalizar um bug. Não era um bug. Ron Kohavi e Stefan Thomke escreveram na Harvard Business Review que a mudança aumentou a receita em 12 por cento, mais de 100 milhões de dólares por ano só nos Estados Unidos, sem prejudicar as métricas de experiência do usuário. Eles a chamaram de a ideia que mais gerou receita na história do Bing.

O mesmo artigo descreve o caso oposto. Mostrar conteúdo do Facebook e do Twitter em um terceiro painel na página de resultados do Bing custou à Microsoft mais de 25 milhões de dólares para construir e gerou ganhos insignificantes de engajamento e receita. Pouco esforço, grande efeito. Muito esforço, pouco efeito. Ninguém conseguia dizer de antemão qual era qual.

Quando os especialistas tinham certeza

Em 2013, o Bing testou pequenas mudanças nas cores dos títulos, links e legendas da sua página de resultados. As diferenças eram quase invisíveis, e os especialistas em design ficaram céticos quando os resultados vieram positivos: as pessoas encontravam o que queriam com mais frequência e mais rápido. Então o teste foi refeito com 32 milhões de usuários. O resultado se manteve, e estimou-se que a mudança valia mais de 10 milhões de dólares por ano. Durante anos, observam os autores, a Microsoft tinha confiado em designers especialistas, e não no comportamento de usuários reais, para definir seus guias de estilo.

A política tem sua própria versão. Em dezembro de 2007, a campanha de Obama testou sua página de cadastro com 24 combinações de botões, imagens e vídeos em mais de 310'000 visitantes. Dan Siroker, que conduziu a análise, escreveu depois que a equipe adorava os vídeos e provavelmente teria usado um deles. Todos os vídeos tiveram desempenho pior do que todas as imagens. A vencedora, uma foto de família com um botão escrito Learn More, elevou a taxa de cadastro de 8,26 para 11,6 por cento, uma melhora de 40,6 por cento.

A maioria das ideias não funciona

A parte incômoda é a taxa de base. Kohavi e Thomke relatam que, no Google e no Bing, só cerca de 10 a 20 por cento dos experimentos geram resultados positivos, e que, na Microsoft como um todo, um terço das ideias se mostra eficaz, um terço é neutro e um terço piora as coisas. Thomke, que estudou o Booking.com, uma empresa que roda uns 25'000 testes por ano, estima o número geral em cerca de 10 por cento de experimentos que melhoram o resultado financeiro.

Isso não é motivo para desespero. É motivo para humildade. Se a maioria das ideias de que pessoas experientes têm certeza não faz nada ou faz mal, uma empresa que muda o site apenas com base em opiniões também coloca essas ideias no ar, e nunca fica sabendo. Os testes encontram as vencedoras. E, tão importante quanto isso, barram as perdedoras sem alarde.

As empresas com mais dados são as que levam isso mais a sério. Em setembro de 2025, a OpenAI comprou a Statsig, uma empresa de testes de produto, em uma operação paga inteiramente em ações que o TechCrunch avaliou em 1,1 bilhão de dólares.

Como testar com honestidade

Um teste pode enganar tanto quanto uma reunião. Pesquisadores da Wharton estudaram mais de 2'100 experimentos rodados no Optimizely em 2014 e constataram que 57 por cento dos responsáveis acompanhavam os resultados à medida que chegavam e paravam o teste assim que ele passava de 90 por cento de significância. Pela estimativa deles, esse hábito elevou a parcela de resultados significativos que eram falsos de cerca de 30 por cento para 42 por cento.

Algumas regras mantêm um teste honesto. Defina a meta antes de o teste começar, e escolha a que importa: leads, vendas ou receita, não cliques. Defina quanto tempo ele vai durar, em semanas completas, e não o interrompa porque a curva parece boa numa terça-feira. Divida os visitantes de forma aleatória e confira a divisão: a plataforma da Microsoft sinaliza um desequilíbrio na proporção da amostra quando os grupos diferem do planejado, e esses resultados muitas vezes são inválidos. Mude uma coisa clara de cada vez, para que a causa continue clara.

E desconfie de grandes vitórias. Kohavi e Thomke citam a lei de Twyman: “Qualquer número que pareça interessante ou diferente geralmente está errado.” Repita um resultado surpreendente antes de comemorá-lo, e registre as versões perdedoras. Um teste que falhou ainda diz algo sobre os seus clientes.

O que muda quando você testa

A maior mudança não está na página. Está na reunião. Quando toda mudança importante pode ser testada, uma divergência deixa de ser uma disputa de hierarquia, e a pergunta passa a ser o que testar primeiro. Um júnior pode trazer uma ideia sem precisar vencer uma discussão, e um especialista pode errar sem perder prestígio.

O que continua humano é tudo o que vem antes dos números: as ideias que valem um teste, o julgamento sobre o que uma marca nunca deveria tentar, mesmo que vencesse, e a responsabilidade pelo que vai ao ar. Um teste pode dizer qual título vende. Não pode dizer se você deveria dizê-lo.

Onde entra o Proof

Criamos o Proof porque as ferramentas que experimentamos eram feitas para equipes de testes, não para empresas. Ele roda testes A/B em sites, landing pages, lojas, e-mails e newsletters, divide os visitantes de forma justa e só declara um vencedor quando o resultado se sustenta, medido em leads, vendas ou receita. Os agentes dele propõem o próximo teste e escrevem as variantes, e uma pessoa aprova cada um. O Proof está em acesso antecipado e roda primeiro nas nossas próprias páginas. As páginas em si podem ficar no Studio, onde cada publicação é verificada, testada, colocada no ar, verificada de novo e revertida automaticamente se algo falhar.

Por onde começar: escolha a página que traz mais leads ou vendas, anote o que você acredita que a melhoraria e teste essa crença contra a versão atual por pelo menos duas semanas completas. Seja qual for o resultado, você vai saber algo que antes só supunha.