Решает посетитель, а не совещание

Каждая команда, которая делает сайты, знает это совещание. На экране новая страница, и у каждого есть мнение. Дизайнер предпочитает спокойную версию, руководитель продаж хочет поднять цену повыше, основателю нравится заголовок, который он написал сам. Мы годами сидели на таких совещаниях, сначала как агентство, теперь как продуктовая компания, часто рядом с очень хорошими экспертами.

Потом страница выходит в свет, и решают посетители. Часто они решают то, чего никто в комнате не ожидал. Сплит-тестирование представляет собой привычку сознательно давать им решать: две версии одной страницы одновременно показывают двум случайным группам реальных посетителей, и остаётся та, что работает лучше.

Идея, которую никто не хотел

Самый известный пример приходит из Microsoft. В 2012 году сотрудник, работавший над Bing, предложил небольшое изменение в том, как отображаются заголовки объявлений. Инженеру на это понадобилось бы несколько дней. Это была одна из сотен идей, менеджеры программ оценили её низко, и больше полугода её никто не трогал.

Когда инженер наконец провёл простой тест, новая версия принесла настолько высокую выручку, что сработало оповещение, которое обычно сигнализирует об ошибке. Это была не ошибка. Рон Кохави и Стефан Томке писали в Harvard Business Review, что изменение увеличило выручку на 12 процентов, более чем на 100 миллионов долларов в год только в США, не ухудшив показатели пользовательского опыта. Они назвали это лучшей идеей для выручки за всю историю Bing.

Та же статья описывает противоположный случай. Показ контента из Facebook и Twitter в третьей панели на странице результатов Bing обошёлся Microsoft более чем в 25 миллионов долларов на разработку и дал ничтожный прирост вовлечённости и выручки. Малое усилие, большой эффект. Большое усилие, малый эффект. Заранее никто не мог сказать, где что.

Когда эксперты были уверены

В 2013 году Bing протестировал небольшие изменения цветов заголовков, ссылок и подписей на странице результатов. Различия были едва заметны, и эксперты по дизайну отнеслись к положительным результатам скептически: люди чаще и быстрее находили то, что искали. Поэтому тест повторили на 32 миллионах пользователей. Результат подтвердился, и ценность изменения оценили более чем в 10 миллионов долларов в год. Как отмечают авторы, годами Microsoft при составлении руководств по стилю полагалась на экспертов-дизайнеров, а не на поведение реальных пользователей.

У политики есть своя версия. В декабре 2007 года предвыборный штаб Обамы протестировал страницу регистрации с 24 комбинациями кнопок, изображений и видео более чем на 310'000 посетителей. Дэн Сирокер, который проводил анализ, позже писал, что сотрудникам очень нравились видео и они, скорее всего, выбрали бы одно из них. Каждое видео показало себя хуже каждого изображения. Победитель, семейная фотография с кнопкой «Learn More», поднял долю регистраций с 8,26 до 11,6 процента, то есть на 40,6 процента.

Большинство идей не работает

Неприятная часть заключается в базовой частоте. Кохави и Томке сообщают, что в Google и Bing лишь примерно от 10 до 20 процентов экспериментов дают положительные результаты, а по всей Microsoft треть идей оказывается эффективной, треть нейтральной и треть ухудшает ситуацию. Томке, изучавший Booking.com, компанию, которая проводит около 25'000 тестов в год, оценивает общую долю экспериментов, улучшающих итоговый результат, примерно в 10 процентов.

Это не повод для отчаяния. Это повод для смирения. Если большинство идей, в которых уверены опытные люди, ничего не дают или вредят, компания, которая меняет сайт только на основе мнений, выпускает и их тоже и так об этом и не узнаёт. Тестирование находит победителей. Не менее важно, что оно тихо останавливает проигравших.

Компании с наибольшим объёмом данных относятся к этому серьёзнее всех. В сентябре 2025 года OpenAI купила Statsig, компанию по тестированию продуктов, в сделке, полностью оплаченной акциями, которую TechCrunch оценил в 1,1 миллиарда долларов.

Как тестировать честно

Тест может ввести в заблуждение так же легко, как совещание. Исследователи из Wharton изучили более 2'100 экспериментов, проведённых на Optimizely в 2014 году, и обнаружили, что 57 процентов экспериментаторов следили за результатами по мере поступления и останавливали тест, как только он переходил порог значимости в 90 процентов. По их оценке, эта привычка увеличила долю ложных среди значимых результатов примерно с 30 до 42 процентов.

Несколько правил сохраняют тест честным. Определите цель до начала теста и выберите ту, что действительно важна: заявки, продажи или выручку, а не клики. Решите, сколько тест продлится, в полных неделях, и не останавливайте его, потому что во вторник кривая выглядит хорошо. Распределяйте посетителей случайно и проверяйте распределение: платформа Microsoft отмечает несоответствие пропорций выборки, когда группы отличаются от плана, и такие результаты часто недействительны. Меняйте одну понятную вещь за раз, чтобы причина оставалась ясной.

И относитесь с подозрением к большим победам. Кохави и Томке цитируют закон Тваймана: «Любая цифра, которая выглядит интересной или необычной, обычно ошибочна». Прежде чем праздновать неожиданный результат, повторите тест, а проигравшие варианты записывайте в журнал. Тест, который провалился, всё равно что-то говорит о ваших клиентах.

Что меняется, когда вы тестируете

Главная перемена происходит не на странице. Она происходит на совещании. Когда каждое важное изменение можно протестировать, разногласие перестаёт быть состязанием должностей, и вопрос становится другим: что тестировать первым. Младший сотрудник может предложить идею, не выигрывая спор, а эксперт может ошибиться, не теряя лица.

Человеческим остаётся всё, что предшествует цифрам: идеи, которые стоит тестировать, суждение о том, чего бренду никогда не стоит пробовать, даже если это победит, и ответственность за то, что выходит в свет. Тест может сказать, какой заголовок продаёт. Он не может сказать, стоит ли вам это говорить.

Где место Proof

Мы создали Proof, потому что инструменты, которые мы пробовали, были сделаны для команд тестирования, а не для компаний. Он проводит сплит-тесты на сайтах, лендингах, в магазинах, письмах и рассылках, честно распределяет посетителей и объявляет победителя только тогда, когда результат устойчив, измеряя его заявками, продажами или выручкой. Его агенты предлагают следующий тест и пишут варианты, а каждый из них утверждает человек. Proof находится в раннем доступе и сначала работает на наших собственных страницах. Сами страницы могут жить в Studio, где каждая публикация проверяется, тестируется, выходит в работу, проверяется снова и сама откатывается, если что-то идёт не так.

С чего начать: выберите одну страницу, которая приносит больше всего заявок или продаж, запишите, что, по вашему мнению, её улучшит, и проверьте это убеждение против текущей версии в течение как минимум двух полных недель. Каким бы ни был результат, вы будете знать то, что раньше только предполагали.