Одна честная цифра

Каждая компания говорит, что принимает решения на основе данных. Меньше тех, кто может сказать, сколько принесла кампания в прошлом квартале во франках, и ещё меньше тех, кто хоть раз изменил решение, потому что так подсказала цифра. Разрыв между сбором данных и решениями на их основе: именно здесь лежит большая часть ценности и здесь же большая её часть теряется.

Разбираем, что говорят исследования о компаниях, которые принимают решения на основе данных, что происходит, когда маркетинг измеряют вплоть до денег, и какие ловушки превращают цифры в украшение.

Что показали исследования

Самые известные данные получены в MIT. В 2011 году Эрик Бриньолфссон, Лорин Хитт и Хигён Ким изучили 179 крупных публичных компаний и обнаружили, что у тех, кто делал упор на решения на основе данных и аналитики, выпуск и производительность были выше, чем можно было ожидать, исходя из их прочих инвестиций и использования ИТ: разница составляла от 5 до 6 процентов. Связь проявлялась и в эффективности использования активов, рентабельности капитала и рыночной стоимости, и авторы не нашли признаков того, что зависимость просто обратная, то есть что успешные компании покупают больше аналитики.

Более поздняя работа на данных Бюро переписи США расширила картину. Бриньолфссон и Кристина Макэлхеран выяснили, что доля американских заводов, принимающих решения на основе данных, с 2005 по 2010 год выросла почти втрое: с 11 до 30 процентов. В выборке из более чем 18'000 заводов те, кто пришёл к этому позже, показывали добавленную стоимость примерно на 3 процента выше, чем сопоставимые заводы, которые этого не сделали, причём результаты улучшались после перехода, а не до него. Небольшие компании переходили позже, но связь с результатами у них была сильнее.

Размер эффекта важен меньше, чем его форма. Исследователи обнаружили, что переход шёл рука об руку с информационными технологиями и образованными работниками. Данные окупаются, когда меняют то, как принимаются решения, и когда вместе с ними меняются люди и системы вокруг.

Измерено до денег

Шире всего этот разрыв в маркетинге. В опросе Gartner, проведённом в мае и июне 2022 года среди 377 пользователей маркетинговой аналитики, аналитика влияла лишь на чуть больше половины маркетинговых решений, 53 процента. Треть респондентов сказала, что те, кто принимает решения, выбирают из данных то, что подтверждает историю, которую они уже для себя решили.

Отчасти причина в устройстве. Цифры разбросаны по множеству инструментов: аналитика в одном, CRM в другом, рассылка, соцсети и реклама каждая в своём, а финансы ещё где-то. Каждый инструмент сообщает об успехе в своей валюте: здесь клики, там открытия, где-то ещё лиды. Ни один не сообщает ту цифру, на которой держится компания: сколько денег вернулось за деньги, которые ушли.

Измерять до денег значит проследить лид от первого визита через форму, звонок и предложение до оплаченного счёта. Как только такая цепочка появляется, разговор меняется. Канал, который приносит много дешёвых лидов и ни одного клиента, выглядит иначе. Как и медленный канал, который приносит мало лидов и большую часть выручки.

Когда одна цифра разворачивает компанию

Иногда одного честного измерения достаточно, чтобы сменить направление. В крупном полевом эксперименте, опубликованном в 2014 году, экономисты Том Блейк, Крис Носко и Стивен Таделис отключили платную поисковую рекламу eBay в части Соединённых Штатов и сравнили продажи. По запросам с собственным названием eBay почти весь платный трафик просто пришёл через бесплатные результаты, и измеримой краткосрочной пользы от рекламы не было. По другим ключевым словам реклама действительно помогала с новыми и редкими покупателями, но большая часть денег уходила на постоянных покупателей, которые купили бы и так, поэтому средняя отдача оказалась отрицательной. Реальная отдача составила лишь долю того, что показывали обычные оценки.

Похожий урок получила Yahoo. Его описали Рон Кохави и Стефан Томке в Harvard Business Review. Наблюдательное исследование оценило, что медийная реклама бренда увеличила число поисковых запросов о нём на величину от 871 до 1'198 процентов. Контролируемый эксперимент показал 5,4 процента.

Airbnb сменила курс в масштабах всей компании. В 2020 году, когда пандемия остановила путешествия, она сократила расходы на брендовый и перформанс-маркетинг с 1,14 миллиарда долларов до 479 миллионов, то есть на 58 процентов. В своём первом годовом отчёте в качестве публичной компании она изложила стратегию: наращивать брендовый маркетинг, привлекать больше гостей через прямые и бесплатные каналы и тратить на перформанс-маркетинг меньше, чем в 2019 году. В мае 2021 года генеральный директор Брайан Чески сказал аналитикам, что 90 процентов трафика компании были бесплатными или прямыми.

Ловушки

Цифры могут не только направлять, но и вводить в заблуждение. Первая ловушка: метрики тщеславия. Подписчики, показы, просмотры страниц и доля открытий легко растут и легко попадают в отчёты, но мало что говорят о выручке. Им место на дашборде, только если они связаны с чем-то, что приносит деньги.

Вторая: недостающие данные. Посетители отказываются от cookies, формы не размечены, звонки так и не попадают в CRM, а финансовая система ни с чем не связана. Отчёт, который тихо заполняет пробелы оценками, выглядит полным, но таковым не является. Недостающая цифра должна показываться как недостающая.

Третья: корреляция, выданная за причину. Кохави и Томке описывают команды Microsoft Office, которые решили, что продвинутые функции снижают отток, хотя на деле активные пользователи просто пробуют больше функций и реже уходят. По той же логике пользователи, видевшие сообщения об ошибках, тоже уходили реже. Отделить причину от совпадения может только контролируемый тест.

Самая тихая ловушка: не решать ничего. Дашборд, по которому никто не действует, всего лишь статья расходов.

Что остаётся за людьми

Данные не принимают решений. Их принимают люди, и так и должно быть. Цифры говорят, что произошло, а при хорошем тесте и почему. Они не говорят, какой компания хочет быть, каких клиентов она предпочла бы не иметь и когда пойти на риск, который история не может подтвердить. Это суждение и ответственность за него остаются за людьми, которые руководят компанией. Честные цифры дают этому суждению более качественный материал. Но не заменяют его.

Что может сделать компания

Начните с одного вопроса, ошибка в котором стоит денег, например, какой канал приводит платящих клиентов. Соедините те немногие источники, которые на него отвечают, от первого визита до счёта, и отмечайте каждый пробел, а не заполняйте его. Затем примите одно решение на основе этой цифры и проверьте следующее.

Именно этим занимается North. Он сводит аналитику, формы, CRM, почту, соцсети, рекламу и реальные финансы в одно представление, прослеживает каждую воронку до денег и показывает каждую цифру как измеренную или как недостающую. Ассистент отвечает на вопросы, указывая источник каждой цифры, а решает человек. Там, где для решения нужна причина, а не корреляция, тест проводит Proof.