決めるのは会議ではなく、訪問者

ウェブサイトを作るチームなら、誰もがあの会議を知っています。新しいページが画面に映り、全員が意見を持っています。デザイナーは落ち着いたバージョンを好み、営業責任者は価格をもっと上に置きたがり、創業者は自分で書いた見出しを気に入っています。私たちは何年もその会議に座ってきました。エージェンシーとして、そしていまはプロダクトカンパニーとして、しばしばとても優れた専門家の隣で。

やがてページが公開され、訪問者が決めます。しばしば、会議室の誰も予想しなかったことを。スプリットテストとは、意図して訪問者に決めてもらう習慣です。同じページの2つのバージョンを、実際の訪問者の無作為な2つのグループに同時に見せ、成果のよいほうを残します。

誰も求めなかったアイデア

最もよく知られた例はMicrosoftのものです。2012年、Bingに携わっていた社員が、広告の見出しの表示方法に小さな変更を提案しました。エンジニアが数日で実装できるものでした。それは何百ものアイデアのひとつにすぎず、プログラムマネージャーたちの評価は低く、6か月以上手つかずのままでした。

ようやくエンジニアが簡単なテストを実施すると、新しいバージョンは、普段ならバグを示す警報が鳴るほどの収益を生みました。バグではありませんでした。Ron Kohavi氏とStefan Thomke氏はHarvard Business Reviewで、この変更がユーザー体験の指標を損なうことなく収益を12パーセント押し上げ、米国だけで年間1億ドルを超えたと書いています。二人はこれを、Bingの歴史で最も収益を生んだアイデアと呼びました。

同じ記事は、逆のケースも紹介しています。Bingの検索結果ページの3つ目の枠にFacebookとTwitterのコンテンツを表示する機能は、開発に2500万ドル以上かかりましたが、エンゲージメントと収益の伸びはごくわずかでした。小さな労力で大きな効果。大きな労力で小さな効果。どちらがどちらなのか、事前には誰にもわかりませんでした。

専門家が確信していたとき

2013年、Bingは検索結果ページのタイトル、リンク、説明文の色にわずかな変更を加えるテストを行いました。違いはほとんど目に見えないほどで、結果が良好と出たとき、デザインの専門家たちは懐疑的でした。人々は探しているものを、より頻繁に、より速く見つけていたのです。そこでテストは3200万人のユーザーを対象に再び実施されました。結果は変わらず、この変更の価値は年間1000万ドル以上と見積もられました。著者たちによれば、Microsoftは長年、スタイルガイドを決める際に、実際のユーザーの行動ではなく専門のデザイナーに頼ってきたといいます。

政治の世界にも同じような話があります。2007年12月、Obama陣営は登録ページで、ボタン、画像、動画の24通りの組み合わせを310'000人超の訪問者にテストしました。分析を担当したDan Siroker氏はのちに、スタッフは動画を気に入っており、おそらくどれかを採用していただろうと書いています。しかし、どの動画もどの画像より成績が悪かったのです。勝ったのは「Learn More」と書かれたボタンを添えた家族写真で、登録率は8.26パーセントから11.6パーセントへ、40.6パーセント改善しました。

ほとんどのアイデアは効果がない

居心地が悪いのは、その基本的な確率です。Kohavi氏とThomke氏の報告によると、GoogleとBingでは肯定的な結果を出す実験は約10〜20パーセントにすぎず、Microsoft全体では、アイデアの3分の1が効果を上げ、3分の1は影響がなく、3分の1は状況を悪化させます。年間およそ25'000件のテストを実施するBooking.comを研究したThomke氏は、収益を改善する実験は一般に約10パーセントだとしています。

これは絶望する理由ではありません。謙虚になる理由です。経験豊富な人が確信しているアイデアの大半が何の効果もないか害になるのだとしたら、意見だけでウェブサイトを変える企業は、そうしたアイデアもそのまま公開し、決して気づきません。テストは勝者を見つけます。同じくらい大切なのは、敗者を静かに止めることです。

最も多くのデータを持つ企業ほど、このことを真剣に受け止めています。2025年9月、OpenAIはプロダクトテストの企業Statsigを全額株式交換で買収しました。TechCrunchによれば、その額は11億ドルでした。

誠実にテストする方法

テストは、会議と同じくらい簡単に人を誤らせます。Whartonの研究者たちは2014年にOptimizely上で行われた2'100件を超える実験を調べ、実験者の57パーセントが結果を途中で確認し、有意性が90パーセントを超えた時点でテストを止めていたことを突き止めました。彼らの推定では、この習慣によって、有意とされた結果のうち誤りであるものの割合が、約30パーセントから42パーセントに上がっていました。

テストを誠実に保つためのルールがいくつかあります。目標はテストを始める前に決め、本当に重要なものにします。クリックではなく、リード、売上、収益です。期間は丸1週間単位で決め、火曜日に曲線がよく見えたからといって止めないこと。訪問者は無作為に分け、その分かれ方を確認します。Microsoftのプラットフォームは、グループが計画と食い違うとサンプル比率の不一致として警告を出し、そうした結果は無効になることが多いのです。一度に変えるのは、はっきりしたひとつのことだけにします。そうすれば原因がはっきりしたまま保たれます。

そして大勝ちを疑うこと。Kohavi氏とThomke氏はTwymanの法則を引用しています。「興味深く見える、あるいは変わって見える数字は、たいてい間違っている」。意外な結果は、喜ぶ前にもう一度テストし、負けたテストも記録に残しておきます。失敗したテストも、顧客について何かを教えてくれるのです。

テストすると何が変わるのか

最大の変化は、ページの上ではなく会議の中で起こります。重要な変更をすべてテストできるようになると、意見の対立は地位の争いではなくなり、問いは何を先にテストするかに変わります。若手は議論に勝たなくてもアイデアを出せ、専門家は面目を失わずに間違えられます。

人に残るのは、数字の前にあるすべてです。テストする価値のあるアイデア、たとえ勝つとしてもブランドが決して試すべきでないことの判断、そして公開するものへの責任。テストはどの見出しが売れるかを教えてくれます。それを言うべきかどうかは教えてくれません。

Proofの役割

私たちがProofを作ったのは、試したツールがテスト専門チームのためのもので、企業のためのものではなかったからです。Proofはウェブサイト、ランディングページ、ショップ、メール、ニュースレターでスプリットテストを実行し、訪問者を公平に分け、リード、売上、収益で測った結果が確かなときにだけ勝者を決めます。エージェントが次のテストを提案してバリエーションを書き、そのひとつひとつを人が承認します。Proofは先行アクセスの段階にあり、まず私たち自身のページで動いています。ページそのものはStudioに置くことができます。Studioでは、すべての公開がチェックされ、テストされ、公開され、再びチェックされ、何かが失敗すれば自動で元に戻されます。

どこから始めるか。最も多くのリードや売上をもたらすページをひとつ選び、それを改善すると思うことを書き出し、その考えを現行のバージョンと少なくとも丸2週間テストします。結果がどうであれ、それまで思い込んでいただけのことを、知ることになります。