Der Besucher entscheidet, nicht das Meeting
Wir, unsere Partner und die Experten sind sicher, dass wir wissen, was funktioniert, bis echte Besucher anders entscheiden. Was veröffentlichte Tests zeigen und wie man ehrlich testet.
Jedes Team, das Websites baut, kennt das Meeting. Eine neue Seite steht auf dem Bildschirm, und alle haben eine Meinung. Die Designerin bevorzugt die ruhige Version, der Verkaufsleiter will den Preis weiter oben, der Gründer mag den Titel, den er selbst geschrieben hat. Wir sitzen seit Jahren in diesem Meeting, als Agentur und jetzt als Produktunternehmen, oft neben sehr guten Experten.
Dann geht die Seite live, und die Besucher entscheiden. Oft entscheiden sie etwas, womit im Raum niemand gerechnet hat. Split-Testing ist die Gewohnheit, sie mit Absicht entscheiden zu lassen: zwei Versionen derselben Seite, gleichzeitig zwei zufälligen Gruppen echter Besucher gezeigt, und die bessere bleibt.
Die Idee, die niemand wollte
Das bekannteste Beispiel stammt von Microsoft. 2012 schlug ein Mitarbeiter, der an Bing arbeitete, eine kleine Änderung daran vor, wie Anzeigentitel dargestellt werden. Für einen Ingenieur wären es ein paar Tage Arbeit. Es war eine von Hunderten Ideen, die Programmmanager bewerteten sie tief, und sie blieb mehr als sechs Monate unberührt.
Als ein Ingenieur schliesslich einen einfachen Test laufen liess, brachte die neue Version einen so hohen Umsatz, dass sie einen Alarm auslöste, der sonst einen Fehler anzeigt. Es war kein Fehler. Ron Kohavi und Stefan Thomke schrieben in der Harvard Business Review, dass die Änderung den Umsatz um 12 Prozent steigerte, allein in den USA mehr als 100 Millionen Dollar im Jahr, ohne die Messgrössen der Nutzererfahrung zu beeinträchtigen. Sie nannten sie die beste umsatzbringende Idee in der Geschichte von Bing.
Derselbe Artikel beschreibt den umgekehrten Fall. Inhalte von Facebook und Twitter in einem dritten Bereich auf der Ergebnisseite von Bing zu zeigen, kostete Microsoft mehr als 25 Millionen Dollar in der Entwicklung und brachte vernachlässigbare Zuwächse bei Engagement und Umsatz. Kleiner Aufwand, grosse Wirkung. Grosser Aufwand, kleine Wirkung. Niemand konnte im Voraus sagen, was was war.
Als die Experten sicher waren
2013 testete Bing leichte Änderungen an den Farben von Titeln, Links und Bildunterschriften auf seiner Ergebnisseite. Die Unterschiede waren kaum sichtbar, und Designexperten waren skeptisch, als die Ergebnisse positiv ausfielen: Die Leute fanden das, was sie wollten, häufiger und schneller. Also wurde der Test mit 32 Millionen Nutzern wiederholt. Das Ergebnis hielt, und die Änderung wurde auf mehr als 10 Millionen Dollar im Jahr geschätzt. Jahrelang, so die Autoren, hatte sich Microsoft bei der Festlegung seiner Styleguides auf Expertendesigner statt auf das Verhalten echter Nutzer verlassen.
Die Politik hat ihre eigene Version. Im Dezember 2007 testete die Kampagne von Obama ihre Anmeldeseite mit 24 Kombinationen aus Buttons, Bildern und Videos an mehr als 310'000 Besuchern. Dan Siroker, der die Analyse leitete, schrieb später, dass die Mitarbeitenden die Videos liebten und wahrscheinlich eines davon verwendet hätten. Jedes Video schnitt schlechter ab als jedes Bild. Der Sieger, ein Familienfoto mit einem Button mit der Aufschrift «Learn More», steigerte die Anmelderate von 8,26 auf 11,6 Prozent, eine Verbesserung um 40,6 Prozent.
Die meisten Ideen funktionieren nicht
Das Unangenehme ist die Basisrate. Kohavi und Thomke berichten, dass bei Google und Bing nur etwa 10 bis 20 Prozent der Experimente positive Ergebnisse liefern und dass bei Microsoft insgesamt ein Drittel der Ideen wirksam ist, ein Drittel neutral und ein Drittel die Lage verschlechtert. Thomke, der Booking.com untersucht hat, ein Unternehmen, das rund 25'000 Tests pro Jahr durchführt, beziffert die allgemeine Zahl auf etwa 10 Prozent der Experimente, die das Betriebsergebnis verbessern.
Das ist kein Grund zur Verzweiflung. Es ist ein Grund zur Bescheidenheit. Wenn die meisten Ideen, bei denen sich erfahrene Leute sicher sind, nichts bewirken oder schaden, liefert ein Unternehmen, das seine Website allein nach Meinung ändert, auch diese aus und erfährt es nie. Testen findet die Gewinner. Ebenso wichtig: Es stoppt die Verlierer leise.
Die Unternehmen mit den meisten Daten nehmen das am ernstesten. Im September 2025 kaufte OpenAI Statsig, ein Unternehmen für Produkttests, in einem reinen Aktientausch, den TechCrunch auf 1,1 Milliarden Dollar bezifferte.
Wie man ehrlich testet
Ein Test kann ebenso leicht in die Irre führen wie ein Meeting. Forschende der Wharton School untersuchten mehr als 2'100 Experimente, die 2014 auf Optimizely liefen, und stellten fest, dass 57 Prozent der Experimentierenden ihre Ergebnisse laufend ansahen und aufhörten, sobald ein Test 90 Prozent Signifikanz überschritt. Nach ihrer Schätzung erhöhte diese Gewohnheit den Anteil der signifikanten Befunde, die falsch waren, von etwa 30 auf 42 Prozent.
Einige Regeln halten einen Test ehrlich. Legen Sie das Ziel vor dem Start des Tests fest, und wählen Sie jenes, auf das es ankommt: Leads, Verkäufe oder Umsatz, nicht Klicks. Legen Sie fest, wie lange er läuft, in ganzen Wochen, und brechen Sie ihn nicht ab, weil die Kurve an einem Dienstag gut aussieht. Teilen Sie die Besucher zufällig auf und prüfen Sie die Aufteilung: Die Plattform von Microsoft meldet ein Sample Ratio Mismatch, wenn die Gruppen vom Plan abweichen, und solche Ergebnisse sind oft ungültig. Ändern Sie jeweils eine klare Sache, damit die Ursache klar bleibt.
Und seien Sie bei grossen Gewinnen misstrauisch. Kohavi und Thomke zitieren das Gesetz von Twyman: «Jede Zahl, die interessant oder anders aussieht, ist meistens falsch.» Lassen Sie ein überraschendes Ergebnis noch einmal laufen, bevor Sie es feiern, und halten Sie die Verlierer in einem Protokoll fest. Auch ein gescheiterter Test sagt Ihnen etwas über Ihre Kunden.
Was sich ändert, wenn man testet
Die grösste Veränderung steht nicht auf der Seite. Sie steht im Meeting. Wenn sich jede wichtige Änderung testen lässt, ist eine Meinungsverschiedenheit kein Kräftemessen des Ranges mehr, und die Frage lautet, was zuerst getestet wird. Eine Nachwuchskraft kann eine Idee einbringen, ohne eine Diskussion gewinnen zu müssen, und ein Experte kann falschliegen, ohne das Gesicht zu verlieren.
Menschlich bleibt alles, was vor den Zahlen kommt: die Ideen, die einen Test wert sind, das Urteil darüber, was eine Marke nie versuchen sollte, auch wenn es gewinnen würde, und die Verantwortung für das, was live geht. Ein Test kann Ihnen sagen, welcher Titel verkauft. Er kann Ihnen nicht sagen, ob Sie ihn sagen sollten.
Wo Proof passt
Wir haben Proof gebaut, weil die Werkzeuge, die wir ausprobierten, für Testteams gemacht waren, nicht für Unternehmen. Proof führt Split-Tests auf Websites, Landingpages, Shops, E-Mails und Newslettern durch, teilt die Besucher fair auf und erklärt erst dann einen Sieger, wenn das Ergebnis hält, gemessen an Leads, Verkäufen oder Umsatz. Seine Agenten schlagen den nächsten Test vor und schreiben die Varianten, und eine Person gibt jede frei. Proof befindet sich im Status «Früher Zugang» und läuft zuerst auf unseren eigenen Seiten. Die Seiten selbst können in Studio liegen, wo jede Veröffentlichung geprüft, getestet, live geschaltet, erneut geprüft und bei einem Fehler von selbst zurückgerollt wird.
Wo man anfängt: Wählen Sie die eine Seite, die die meisten Leads oder Verkäufe bringt, schreiben Sie auf, was Ihrer Ansicht nach sie verbessern würde, und testen Sie diese Annahme mindestens zwei volle Wochen lang gegen die aktuelle Version. Was auch herauskommt, Sie wissen danach etwas, das Sie vorher nur angenommen haben.
