Decide el visitante, no la reunión

Todo equipo que construye webs conoce la reunión. Una página nueva está en la pantalla y todo el mundo tiene opinión. El diseñador prefiere la versión tranquila, el responsable de ventas quiere el precio más arriba, al fundador le gusta el titular que escribió él mismo. Llevamos años sentados en esa reunión, como agencia y ahora como empresa de producto, a menudo junto a expertos muy buenos.

Luego la página sale en vivo y deciden los visitantes. A menudo deciden algo que nadie en la sala esperaba. El split testing es el hábito de dejar que decidan a propósito: dos versiones de la misma página, mostradas al mismo tiempo a dos grupos aleatorios de visitantes reales, y se queda la que rinde mejor.

La idea que nadie quería

El ejemplo más conocido viene de Microsoft. En 2012, un empleado que trabajaba en Bing propuso un pequeño cambio en la forma de mostrar los titulares de los anuncios. A un ingeniero le llevaría unos días. Era una entre cientos de ideas, los responsables de programa la valoraron poco y estuvo sin tocar más de seis meses.

Cuando por fin un ingeniero hizo una prueba sencilla, la nueva versión generó unos ingresos tan altos que saltó una alerta que normalmente señala un error. No era un error. Ron Kohavi y Stefan Thomke escribieron en la Harvard Business Review que el cambio aumentó los ingresos un 12 por ciento, más de 100 millones de dólares al año solo en Estados Unidos, sin perjudicar las medidas de experiencia de usuario. Lo llamaron la mejor idea generadora de ingresos de la historia de Bing.

El mismo artículo describe el caso contrario. Mostrar contenido de Facebook y Twitter en un tercer panel de la página de resultados de Bing costó a Microsoft más de 25 millones de dólares construirlo y produjo ganancias insignificantes en interacción e ingresos. Poco esfuerzo, gran efecto. Gran esfuerzo, poco efecto. Nadie podía saber de antemano cuál era cuál.

Cuando los expertos estaban seguros

En 2013, Bing probó cambios sutiles en los colores de los títulos, los enlaces y las descripciones de su página de resultados. Las diferencias apenas se veían, y los expertos en diseño se mostraron escépticos cuando los resultados salieron positivos: la gente encontraba lo que quería más a menudo y más rápido. Así que se repitió la prueba con 32 millones de usuarios. El resultado se mantuvo y se estimó que el cambio valía más de 10 millones de dólares al año. Durante años, señalan los autores, Microsoft había confiado en diseñadores expertos, y no en el comportamiento de usuarios reales, para fijar sus guías de estilo.

La política tiene su propia versión. En diciembre de 2007, la campaña de Obama probó su página de registro con 24 combinaciones de botones, imágenes y vídeos en más de 310'000 visitantes. Dan Siroker, que dirigió el análisis, escribió después que al equipo le encantaban los vídeos y probablemente habría usado uno. Todos los vídeos funcionaron peor que todas las imágenes. La ganadora, una foto de familia con un botón que decía «Learn More», subió la tasa de registro del 8,26 al 11,6 por ciento, una mejora del 40,6 por ciento.

La mayoría de las ideas no funciona

Lo incómodo es la tasa base. Kohavi y Thomke informan de que en Google y Bing solo entre el 10 y el 20 por ciento de los experimentos dan resultados positivos, y de que en el conjunto de Microsoft un tercio de las ideas resultan eficaces, un tercio son neutras y un tercio empeoran las cosas. Thomke, que estudió Booking.com, una empresa que ejecuta unas 25'000 pruebas al año, sitúa la cifra general en alrededor del 10 por ciento de experimentos que mejoran la cuenta de resultados.

Eso no es motivo de desesperación. Es motivo de humildad. Si la mayoría de las ideas de las que las personas con experiencia están seguras no hacen nada o hacen daño, una empresa que cambia su web solo por opinión también publica esas, y nunca se entera. Probar encuentra a los ganadores. Igual de importante, frena a los perdedores sin hacer ruido.

Las empresas con más datos son las que más en serio se lo toman. En septiembre de 2025, OpenAI compró Statsig, una empresa de pruebas de producto, en una operación íntegramente en acciones que TechCrunch cifró en 1100 millones de dólares.

Cómo probar con honestidad

Una prueba puede engañar tan fácilmente como una reunión. Investigadores de Wharton estudiaron más de 2'100 experimentos realizados en Optimizely en 2014 y comprobaron que el 57 por ciento de los experimentadores miraban sus resultados a medida que llegaban y detenían la prueba en cuanto superaba el 90 por ciento de significación. Según sus estimaciones, ese hábito elevó la proporción de hallazgos significativos que eran falsos de cerca del 30 por ciento al 42 por ciento.

Unas pocas reglas mantienen honesta una prueba. Decide el objetivo antes de empezar y que sea el que importa: leads, ventas o ingresos, no clics. Decide cuánto dura, en semanas completas, y no la pares porque la curva se vea bien un martes. Reparte los visitantes al azar y comprueba el reparto: la plataforma de Microsoft marca un desajuste en la proporción de muestra cuando los grupos difieren de lo planeado, y esos resultados suelen ser inválidos. Cambia una sola cosa clara cada vez, para que la causa siga siendo clara.

Y desconfía de las grandes victorias. Kohavi y Thomke citan la ley de Twyman: «Cualquier cifra que parezca interesante o diferente suele ser errónea». Repite un resultado sorprendente antes de celebrarlo y guarda los perdedores en un registro. Una prueba que fracasó también te dice algo sobre tus clientes.

Qué cambia cuando pruebas

El mayor cambio no está en la página. Está en la reunión. Cuando cada cambio importante se puede probar, un desacuerdo deja de ser una disputa de rangos y la pregunta pasa a ser qué probar primero. Un junior puede aportar una idea sin tener que ganar una discusión, y un experto puede equivocarse sin perder la cara.

Lo que sigue siendo humano es todo lo que viene antes de las cifras: las ideas que merecen probarse, el criterio sobre lo que una marca nunca debería intentar aunque ganara, y la responsabilidad sobre lo que sale en vivo. Una prueba puede decirte qué titular vende. No puede decirte si deberías decirlo.

Dónde encaja Proof

Construimos Proof porque las herramientas que probamos estaban hechas para equipos de testing, no para empresas. Ejecuta split tests en webs, landing pages, tiendas, emails y newsletters, reparte los visitantes de forma justa y solo declara un ganador cuando el resultado se sostiene, medido en leads, ventas o ingresos. Sus agentes proponen la siguiente prueba y escriben las variantes, y una persona aprueba cada una. Proof está en acceso anticipado y funciona primero en nuestras propias páginas. Las páginas en sí pueden vivir en Studio, donde cada publicación se comprueba, se prueba, se pone en vivo, se vuelve a comprobar y se revierte sola si algo falla.

Por dónde empezar: elige la página que más leads o ventas aporta, anota lo que crees que la mejoraría y prueba esa creencia contra la versión actual durante al menos dos semanas completas. Sea cual sea el resultado, sabrás algo que antes solo suponías.