정직한 숫자 하나

모든 회사가 데이터 기반이라고 말합니다. 하지만 지난 분기에 어떤 캠페인이 몇 프랑을 벌어들였는지 말할 수 있는 회사는 그보다 적고, 숫자가 그렇게 말했기 때문에 결정을 바꾼 적이 있는 회사는 더 적습니다. 데이터를 모으는 것과 데이터로 결정하는 것 사이의 간극에 가치의 대부분이 있고, 그 대부분이 거기서 사라집니다.

이 글은 데이터로 결정하는 회사에 대해 연구가 무엇을 말하는지, 마케팅을 돈까지 끝까지 측정하면 무슨 일이 일어나는지, 그리고 숫자를 장식으로 만들어 버리는 함정을 살펴봅니다.

연구가 밝혀낸 것

가장 잘 알려진 근거는 MIT에서 나왔습니다. 2011년 Erik Brynjolfsson, Lorin Hitt, Heekyung Kim은 대형 상장사 179곳을 연구해, 데이터와 분석에 기반한 의사결정을 중시하는 기업의 산출과 생산성이 다른 투자와 IT 활용 수준으로 예측되는 것보다 5~6퍼센트 높다는 사실을 발견했습니다. 이 연관성은 자산 활용도, 자기자본이익률, 시장가치에서도 나타났으며, 연구진은 성공한 기업이 분석에 더 많이 투자했을 뿐인 역방향 관계라는 징후를 찾지 못했습니다.

이후 미국 인구조사국 데이터를 활용한 연구가 시야를 넓혔습니다. Brynjolfsson과 Kristina McElheran은 미국 제조 공장에서 데이터 기반 의사결정이 2005년부터 2010년 사이 11퍼센트에서 30퍼센트로 거의 세 배 늘었다는 것을 발견했습니다. 18'000곳이 넘는 공장 표본에서 뒤늦게 도입한 공장은 도입하지 않은 비슷한 공장보다 부가가치가 약 3퍼센트 높았고, 성과는 도입 이전이 아니라 도입 이후에 개선되었습니다. 규모가 작은 기업은 더 늦게 도입했지만, 성과와의 연관성은 더 강했습니다.

효과의 크기보다 중요한 것은 그 형태입니다. 연구진은 도입이 정보 기술 및 교육받은 인력과 함께 이루어진다는 점을 발견했습니다. 데이터는 의사결정 방식을 바꿀 때, 그리고 그 주변의 사람과 시스템도 함께 바뀔 때 성과로 이어집니다.

돈까지 측정하기

간극이 가장 큰 곳은 마케팅입니다. 2022년 5월과 6월 마케팅 분석 사용자 377명을 대상으로 한 Gartner 조사에서, 분석이 영향을 준 마케팅 결정은 절반을 겨우 넘는 53퍼센트였습니다. 응답자의 3분의 1은 의사결정권자들이 이미 정해 둔 이야기에 맞는 데이터만 골라 쓴다고 답했습니다.

구조적인 이유도 있습니다. 숫자는 여러 도구에 흩어져 있습니다. 분석은 한 도구에, CRM은 다른 도구에, 뉴스레터와 소셜 채널과 광고는 각자의 도구에, 재무는 또 다른 곳에 있습니다. 각 도구는 저마다의 화폐로 성공을 보고합니다. 여기서는 클릭, 저기서는 열람, 또 다른 곳에서는 리드입니다. 그중 어느 것도 회사를 움직이는 숫자, 즉 나간 돈에 비해 얼마가 돌아왔는지는 보고하지 않습니다.

돈까지 측정한다는 것은 리드를 첫 방문부터 양식, 통화, 견적을 거쳐 결제된 청구서까지 따라간다는 뜻입니다. 이 연결 고리가 생기면 대화가 달라집니다. 값싼 리드를 많이 가져오지만 고객은 하나도 가져오지 않는 채널이 달리 보입니다. 리드는 적지만 매출의 대부분을 가져오는 느린 채널도 마찬가지입니다.

숫자 하나가 회사를 돌려세울 때

때로는 정직한 측정 하나만으로도 방향을 바꾸기에 충분합니다. 2014년에 발표된 대규모 현장 실험에서 경제학자 Tom Blake, Chris Nosko, Steven Tadelis는 미국 일부 지역에서 eBay의 유료 검색 광고를 끄고 매출을 비교했습니다. eBay라는 이름 자체를 검색한 경우, 유료 트래픽의 거의 전부가 무료 검색 결과를 통해 그대로 들어왔고, 광고에는 측정 가능한 단기 효과가 없었습니다. 다른 키워드에서는 광고가 신규 구매자와 가끔 구매하는 사람에게 도움이 되었지만, 돈의 대부분이 어차피 구매했을 단골 구매자에게 쓰였기 때문에 평균 수익률은 마이너스였습니다. 실제 수익은 통상적인 추정치의 일부에 불과했습니다.

Yahoo도 비슷한 교훈을 얻었으며, Ron Kohavi와 Stefan Thomke가 Harvard Business Review에서 이를 소개했습니다. 관찰 연구는 한 브랜드의 디스플레이 광고가 해당 브랜드 검색을 871~1'198퍼센트 늘렸다고 추정했습니다. 통제된 실험에서 측정된 수치는 5.4퍼센트였습니다.

Airbnb는 회사 전체 차원에서 방향을 바꾸었습니다. 팬데믹으로 여행이 멈춘 2020년, Airbnb는 브랜드 마케팅과 퍼포먼스 마케팅 비용을 11억 4000만 달러에서 4억 7900만 달러로 58퍼센트 줄였습니다. 상장 후 첫 연례 보고서에서는 브랜드 마케팅을 늘리고, 직접 유입과 비유료 채널로 더 많은 게스트를 끌어오며, 퍼포먼스 마케팅에는 2019년보다 적게 쓰겠다는 전략을 내놓았습니다. 2021년 5월 최고경영자 Brian Chesky는 애널리스트들에게 트래픽의 90퍼센트가 비유료 또는 직접 유입이라고 말했습니다.

함정

숫자는 길을 안내하기도 하지만 오도하기도 합니다. 첫 번째 함정은 허영 지표입니다. 팔로워, 노출 수, 페이지 조회 수, 오픈율은 늘리기도 쉽고 보고하기도 쉽지만 매출에 대해서는 거의 말해 주지 않습니다. 이런 지표는 돈이 되는 무언가와 연결될 때에만 대시보드에 오를 자격이 있습니다.

두 번째는 누락된 데이터입니다. 방문자는 쿠키를 거부하고, 양식에는 태그가 달려 있지 않고, 통화 기록은 CRM에 닿지 않으며, 재무 시스템은 어느 것과도 연결되어 있지 않습니다. 빈칸을 조용히 추정치로 채운 보고서는 완전해 보이지만 그렇지 않습니다. 빠진 숫자는 빠진 것으로 보여야 합니다.

세 번째는 원인으로 포장된 상관관계입니다. Kohavi와 Thomke는 Microsoft Office의 팀들이 고급 기능이 이탈을 줄인다고 결론 내린 사례를 소개합니다. 실제로는 헤비 유저가 더 많은 기능을 써 보고, 또 덜 떠날 뿐이었습니다. 같은 논리라면 오류 메시지를 본 사용자도 덜 떠났습니다. 원인과 우연을 가려내는 것은 통제된 테스트뿐입니다.

가장 조용한 함정은 아무것도 결정하지 않는 것입니다. 아무도 행동으로 옮기지 않는 대시보드는 비용일 뿐입니다.

사람에게 남는 것

데이터는 결정하지 않습니다. 결정은 사람이 하며, 마땅히 그래야 합니다. 숫자는 무슨 일이 일어났는지, 그리고 좋은 테스트가 있다면 무엇이 그 원인인지를 말해 줍니다. 회사가 무엇이 되고 싶은지, 어떤 고객은 차라리 받지 않는 편이 나은지, 과거 데이터로는 뒷받침할 수 없는 위험을 언제 감수해야 하는지는 말해 주지 않습니다. 그 판단과 그에 대한 책임은 회사를 운영하는 사람들에게 남습니다. 정직한 숫자는 그 판단에 더 나은 재료를 줍니다. 판단을 대신하지는 않습니다.

회사가 할 수 있는 일

틀렸을 때 돈이 드는 질문 하나에서 시작하십시오. 예를 들어 어떤 채널이 돈을 내는 고객을 데려오는가 하는 질문입니다. 첫 방문부터 청구서까지 그 질문에 답하는 몇 안 되는 소스를 연결하고, 빈칸은 채우지 말고 빈칸으로 표시하십시오. 그런 다음 그 숫자를 근거로 한 가지를 결정하고, 다음 것을 테스트하십시오.

이것이 North가 하는 일입니다. North는 분석, 양식, CRM, 이메일, 소셜 미디어, 광고, 실제 재무를 하나의 화면으로 모으고, 모든 퍼널을 돈까지 따라가며, 모든 수치를 측정된 것 또는 누락된 것으로 보여 줍니다. 어시스턴트는 각 숫자의 출처와 함께 질문에 답하고, 결정은 사람이 합니다. 결정에 상관관계가 아닌 인과관계가 필요한 곳에서는 Proof가 테스트를 실행합니다.