1つの正直な数字

どの企業も、自社はデータドリブンだと言います。しかし、前四半期にあるキャンペーンがいくらもたらしたのかをフラン単位で言える企業は少なく、数字に促されて実際に判断を変えたことのある企業はさらに少数です。データを集めることと、それをもとに決めることのあいだのギャップにこそ価値の大半があり、その大半が失われるのもそこです。

この記事では、データに基づいて意思決定する企業について研究が何を示しているか、マーケティングを売上まで追って測ると何が起きるか、そして数字を飾りに変えてしまう落とし穴を見ていきます。

研究が明らかにしたこと

最もよく知られた根拠はMITによるものです。2011年、Erik Brynjolfsson、Lorin Hitt、Heekyung Kimの3氏は大手上場企業179社を調べ、データと分析に基づく意思決定を重視する企業では、他の投資やITの活用度から予測されるよりも、生産高と生産性が5〜6パーセント高いことを見いだしました。この関係は資産の活用度、自己資本利益率、市場価値にも表れており、成功した企業がより多く分析に投資しただけという逆向きの関係を示す兆候は見つかりませんでした。

その後、米国国勢調査局のデータを用いた研究が視野を広げました。BrynjolfssonとKristina McElheranの両氏は、米国の製造工場におけるデータに基づく意思決定が、2005年から2010年にかけて11パーセントから30パーセントへと、ほぼ3倍になったことを明らかにしました。18'000を超える工場のサンプルでは、後から導入した工場の付加価値は、導入していない同等の工場より約3パーセント高く、業績の向上は導入の前ではなく後に生じていました。小規模な企業ほど導入は遅れましたが、業績との結びつきはより強いものでした。

効果の大きさよりも、その形のほうが重要です。研究者たちは、導入が情報技術や高い教育を受けた人材と一体で進んでいたことを見いだしました。データが成果を生むのは、意思決定のあり方を変えたとき、そしてそれを取り巻く人とシステムも変わったときです。

売上まで測る

ギャップが最も大きいのはマーケティングです。2022年5月から6月にかけてGartnerがマーケティング分析の利用者377人を対象に行った調査では、マーケティングの意思決定のうち分析が影響していたのは、半分をわずかに上回る53パーセントでした。回答者の3分の1は、意思決定者がすでに決めていた筋書きに合うデータだけを都合よく選んでいると答えています。

理由の一部は構造にあります。数字は多くのツールに散らばっています。アクセス解析はあるツールに、CRMは別のツールに、ニュースレター、ソーシャルチャネル、広告はそれぞれ独自のツールに、そして財務はまた別の場所にあります。各ツールはそれぞれの通貨で成功を報告します。こちらではクリック、あちらでは開封、また別の場所ではリード。会社の拠り所となる数字、つまり出ていったお金に対してどれだけのお金が戻ってきたのかを報告するツールは1つもありません。

売上まで測るとは、リードを最初の訪問から、フォーム、電話、見積書を経て、支払い済みの請求書まで追うことです。このつながりができると、議論が変わります。安いリードを大量にもたらしながら顧客を1人も生まないチャネルは、違って見えてきます。リードは少なくても売上の大半をもたらす、動きの遅いチャネルも同様です。

1つの数字が会社の向きを変えるとき

ときには、たった1つの正直な測定だけで方向を変えるのに十分です。2014年に発表された大規模なフィールド実験で、経済学者のTom Blake、Chris Nosko、Steven Tadelisの3氏は、米国の一部地域でeBayの検索連動型広告を停止し、売上を比較しました。eBay自体の名前での検索では、有料の流入のほぼすべてが代わりに無料の検索結果を通じてやって来ただけで、広告による短期的な効果は測定できませんでした。他のキーワードでは、広告は新規や時折の購入者には効果がありましたが、費用の大半はどのみち購入していたはずの頻繁な購入者に費やされており、平均的なリターンはマイナスでした。実際のリターンは、通常の推計が示していた値のごく一部でした。

Yahooも同様の教訓を得ました。Ron KohaviとStefan Thomkeの両氏がHarvard Business Reviewで紹介した事例です。観察研究では、あるブランドのディスプレイ広告によって、そのブランドの検索数が871〜1'198パーセント増えたと推計されていました。対照実験で測定された値は5.4パーセントでした。

Airbnbは会社全体の規模で方針を転換しました。パンデミックで旅行が止まった2020年、同社はブランドマーケティングとパフォーマンスマーケティングの費用を11億4000万ドルから4億7900万ドルへと、58パーセント削減しました。上場企業として初めての年次報告書では、ブランドマーケティングを強化し、直接流入や無料のチャネルを通じてより多くのゲストを集め、パフォーマンスマーケティングへの支出を2019年より抑えるという戦略を示しました。2021年5月、最高経営責任者のBrian Chesky氏はアナリストに対し、トラフィックの90パーセントが無料または直接の流入だと述べました。

落とし穴

数字は道しるべにもなれば、判断を誤らせることもあります。最初の落とし穴は、虚栄の指標です。フォロワー数、インプレッション、ページビュー、開封率は伸ばしやすく報告しやすい一方で、売上についてはほとんど何も語りません。ダッシュボードに載せてよいのは、それらが収益を生む何かと結びついている場合だけです。

2つ目は、欠けたデータです。訪問者はCookieを拒否し、フォームにはタグが付いておらず、電話はCRMに届かず、財務システムはどことも連携していません。推計で黙って穴を埋めたレポートは、完全に見えても実際はそうではありません。欠けている数字は、欠けていると示すべきです。

3つ目は、因果関係を装った相関です。KohaviとThomkeの両氏は、Microsoft Officeのチームが、高度な機能が解約を減らしたと結論づけた例を紹介しています。実際には、ヘビーユーザーほど多くの機能を試し、同時に離脱も少ないというだけのことでした。同じ理屈でいけば、エラーメッセージを目にしたユーザーも離脱が少なかったことになります。原因と偶然を切り分けられるのは、対照されたテストだけです。

最も目立たない落とし穴は、何も決めないことです。誰も行動に移さないダッシュボードは、ただのコストです。

人に残るもの

データは決めません。決めるのは人であり、そうあるべきです。数字は何が起きたかを語り、良いテストがあれば何がそれを引き起こしたかも語ります。しかし、会社が何になりたいのか、どの顧客なら持たないほうがよいのか、過去の実績では裏づけられないリスクをいつ取るべきなのかは語りません。その判断と、それに伴う責任は、会社を動かす人々に残ります。正直な数字は、その判断により良い材料を与えます。判断に取って代わるわけではありません。

企業にできること

間違えるとお金を失う問いを1つ選ぶところから始めましょう。たとえば、どのチャネルが支払いをしてくれる顧客を連れてくるのか、という問いです。最初の訪問から請求書まで、それに答える少数のデータソースをつなぎ、すべての欠落を埋めるのではなく明示します。そして、その数字をもとに1つのことを決め、次のことをテストします。

これがNorthの役割です。アクセス解析、フォーム、CRM、メール、ソーシャルメディア、広告、そして実際の財務を1つのビューにまとめ、あらゆるファネルを売上まで追い、すべての数字を実測値か欠落かのどちらかとして示します。アシスタントは各数字の出典を添えて質問に答え、決めるのは人です。相関ではなく因果が必要な判断では、Proofがテストを実行します。