결정은 회의가 아니라 방문자가 합니다

웹사이트를 만드는 팀이라면 모두 그 회의를 압니다. 화면에 새 페이지가 떠 있고, 모두에게 의견이 있습니다. 디자이너는 차분한 버전을 원하고, 영업 책임자는 가격을 더 위로 올리고 싶어 하며, 창업자는 자신이 쓴 헤드라인을 좋아합니다. 저희는 에이전시로서, 그리고 지금은 제품 회사로서 수년간 그 회의에 앉아 있었고, 옆에는 종종 아주 뛰어난 전문가들이 있었습니다.

그런 다음 페이지가 공개되면 방문자가 결정합니다. 그 결정은 회의실의 누구도 예상하지 못한 것일 때가 많습니다. 스플릿 테스트는 의도적으로 방문자가 결정하게 하는 습관입니다. 같은 페이지의 두 버전을 무작위로 나눈 두 그룹의 실제 방문자에게 동시에 보여 주고, 더 좋은 성과를 낸 쪽을 남깁니다.

아무도 원하지 않은 아이디어

가장 잘 알려진 사례는 Microsoft에서 나왔습니다. 2012년 Bing을 담당하던 한 직원이 광고 헤드라인을 표시하는 방식에 작은 변경을 제안했습니다. 엔지니어 한 명이 며칠이면 할 수 있는 일이었습니다. 수백 개의 아이디어 중 하나였고, 프로그램 매니저들은 낮게 평가했으며, 그 아이디어는 6개월 넘게 손도 대지 않은 채 묵혀 있었습니다.

마침내 한 엔지니어가 간단한 테스트를 돌렸을 때, 새 버전은 매출이 너무 높게 나와 보통 버그를 뜻하는 경보가 울릴 정도였습니다. 버그가 아니었습니다. Ron Kohavi와 Stefan Thomke는 Harvard Business Review에 이 변경이 사용자 경험 지표를 해치지 않으면서 매출을 12퍼센트, 미국에서만 연간 1억 달러 넘게 늘렸다고 썼습니다. 이들은 이를 Bing 역사상 최고의 매출 창출 아이디어라고 불렀습니다.

같은 글은 반대의 사례도 소개합니다. Bing 검색 결과 페이지의 세 번째 영역에 Facebook과 Twitter 콘텐츠를 보여 주는 기능은 만드는 데 2500만 달러가 넘게 들었지만, 참여와 매출에서 얻은 것은 미미했습니다. 작은 노력, 큰 효과. 큰 노력, 작은 효과. 어느 쪽이 어느 쪽일지 미리 알 수 있는 사람은 없었습니다.

전문가들이 확신했을 때

2013년 Bing은 검색 결과 페이지의 제목, 링크, 설명 문구 색상을 살짝 바꾸는 테스트를 했습니다. 차이는 거의 눈에 띄지 않았고, 사람들이 원하는 것을 더 자주, 더 빨리 찾았다는 긍정적인 결과가 나오자 디자인 전문가들은 회의적이었습니다. 그래서 테스트를 3200만 명의 사용자로 다시 돌렸습니다. 결과는 그대로였고, 이 변경의 가치는 연간 1천만 달러가 넘는 것으로 추정되었습니다. 저자들은 Microsoft가 수년간 스타일 가이드를 정할 때 실제 사용자의 행동이 아니라 전문 디자이너에게 의존해 왔다고 지적합니다.

정치에도 같은 이야기가 있습니다. 2007년 12월 Obama 캠프는 310'000명이 넘는 방문자를 대상으로 버튼, 이미지, 영상의 24가지 조합으로 가입 페이지를 테스트했습니다. 분석을 맡은 Dan Siroker는 나중에, 직원들이 영상을 무척 좋아했고 아마 그중 하나를 썼을 것이라고 회고했습니다. 모든 영상이 모든 이미지보다 성과가 나빴습니다. 승자는 “Learn More”라고 적힌 버튼이 달린 가족사진이었고, 가입률을 8.26퍼센트에서 11.6퍼센트로, 40.6퍼센트 끌어올렸습니다.

대부분의 아이디어는 효과가 없습니다

불편한 부분은 기저율입니다. Kohavi와 Thomke에 따르면 Google과 Bing에서 긍정적인 결과를 내는 실험은 약 10~20퍼센트에 불과하고, Microsoft 전체로 보면 아이디어의 3분의 1은 효과가 있고, 3분의 1은 중립이며, 3분의 1은 상황을 더 나쁘게 만듭니다. 해마다 약 25'000건의 테스트를 하는 Booking.com을 연구한 Thomke는 수익을 개선하는 실험의 비율을 일반적으로 약 10퍼센트로 봅니다.

이것은 절망할 이유가 아닙니다. 겸손해야 할 이유입니다. 경험 많은 사람들이 확신하는 아이디어 대부분이 아무 효과가 없거나 해를 끼친다면, 의견만으로 웹사이트를 바꾸는 회사는 그런 아이디어도 그대로 내보내고, 끝내 알아차리지 못합니다. 테스트는 승자를 찾아냅니다. 그에 못지않게 중요한 것은, 패자를 조용히 멈춰 세운다는 점입니다.

데이터가 가장 많은 기업이 이를 가장 진지하게 받아들입니다. 2025년 9월 OpenAI는 제품 테스트 기업 Statsig를 전액 주식 거래로 인수했고, TechCrunch는 그 규모를 11억 달러로 추산했습니다.

정직하게 테스트하는 법

테스트도 회의만큼 쉽게 사람을 오도할 수 있습니다. Wharton의 연구진은 2014년 Optimizely에서 실행된 2'100건이 넘는 실험을 분석해, 실험자의 57퍼센트가 결과가 들어오는 대로 확인하다가 테스트가 90퍼센트 유의 수준을 넘는 순간 멈췄다는 사실을 발견했습니다. 연구진의 추정에 따르면 이 습관 때문에 유의미한 결과 중 거짓인 것의 비율이 약 30퍼센트에서 42퍼센트로 높아졌습니다.

몇 가지 원칙이 테스트를 정직하게 지켜 줍니다. 테스트를 시작하기 전에 목표를 정하고, 클릭이 아니라 리드, 판매, 매출처럼 정말 중요한 것을 목표로 삼으십시오. 실행 기간은 주 단위로 꽉 채워 정하고, 화요일에 곡선이 좋아 보인다고 멈추지 마십시오. 방문자를 무작위로 나누고 그 분할을 확인하십시오. Microsoft의 플랫폼은 그룹이 계획과 다르게 나뉘면 표본 비율 불일치를 경고하며, 그런 결과는 무효인 경우가 많습니다. 한 번에 분명한 것 하나만 바꾸어, 원인이 분명하게 남도록 하십시오.

그리고 큰 승리는 의심하십시오. Kohavi와 Thomke는 Twyman의 법칙을 인용합니다. “흥미롭거나 달라 보이는 수치는 대개 틀린 것이다.” 놀라운 결과는 축하하기 전에 다시 돌려 보고, 패자는 기록으로 남겨 두십시오. 실패한 테스트도 여전히 고객에 대해 무언가를 알려 줍니다.

테스트하면 달라지는 것

가장 큰 변화는 페이지가 아니라 회의에서 일어납니다. 중요한 변경을 모두 테스트할 수 있게 되면, 의견 충돌은 더 이상 직급 겨루기가 아니게 되고, 질문은 무엇을 먼저 테스트할 것인가로 바뀝니다. 주니어는 논쟁에서 이기지 않고도 아이디어를 낼 수 있고, 전문가는 체면을 잃지 않고 틀릴 수 있습니다.

사람에게 남는 것은 숫자 이전의 모든 것입니다. 테스트할 가치가 있는 아이디어, 이긴다 해도 브랜드가 절대 시도해서는 안 되는 것에 대한 판단, 그리고 공개되는 것에 대한 책임입니다. 테스트는 어떤 헤드라인이 팔리는지 알려 줄 수 있습니다. 그 말을 해야 하는지는 알려 주지 못합니다.

Proof의 자리

저희가 Proof를 만든 것은 써 본 도구들이 회사가 아니라 테스트 팀을 위해 만들어졌기 때문입니다. Proof는 웹사이트, 랜딩 페이지, 쇼핑몰, 이메일, 뉴스레터에서 스플릿 테스트를 실행하고, 방문자를 공정하게 나누며, 리드, 판매, 매출로 측정한 결과가 확실할 때만 승자를 정합니다. Proof의 에이전트가 다음 테스트를 제안하고 변형안을 작성하며, 각각은 사람이 승인합니다. Proof는 얼리 액세스 단계이며, 먼저 저희 자체 페이지에서 운영됩니다. 페이지 자체는 Studio에 둘 수 있습니다. Studio에서는 모든 게시가 검사되고, 테스트되고, 라이브로 전환되고, 다시 검사되며, 무엇이든 실패하면 스스로 롤백됩니다.

출발점은 이렇습니다. 리드나 판매를 가장 많이 가져오는 페이지 하나를 고르고, 무엇이 그 페이지를 개선할 것이라고 믿는지 적은 다음, 그 믿음을 현재 버전과 맞붙여 꼬박 2주 이상 테스트하십시오. 결과가 어떻든, 전에는 짐작만 하던 것을 알게 될 것입니다.