Ett ärligt tal

Varje företag säger att det är datadrivet. Färre kan säga vad en kampanj gav förra kvartalet, i franc, och ännu färre har ändrat ett beslut för att ett tal sa åt dem att göra det. Glappet mellan att samla in data och att besluta med den är där det mesta av värdet finns, och där det mesta går förlorat.

Den här texten tittar på vad forskningen säger om företag som beslutar utifrån data, vad som händer när marknadsföring mäts ända fram till pengarna och de fällor som gör tal till dekoration.

Vad forskningen fann

Det mest kända belägget kommer från MIT. År 2011 studerade Erik Brynjolfsson, Lorin Hitt och Heekyung Kim 179 stora börsnoterade företag och fann att de som betonade beslut grundade på data och analys hade en produktion och produktivitet som var 5 till 6 procent högre än vad deras övriga investeringar och deras IT-användning skulle ge anledning att vänta. Sambandet syntes också i tillgångsutnyttjande, avkastning på eget kapital och marknadsvärde, och författarna fann inga tecken på att det helt enkelt gick åt andra hållet, med framgångsrika företag som köper mer analys.

Senare arbete med data från US Census Bureau vidgade bilden. Brynjolfsson och Kristina McElheran fann att datadrivet beslutsfattande i amerikanska tillverkningsanläggningar nästan tredubblades mellan 2005 och 2010, från 11 till 30 procent. I ett urval på mer än 18'000 anläggningar uppvisade senare införare ett förädlingsvärde som var ungefär 3 procent högre än jämförbara anläggningar som inte hade infört det, och prestandan förbättrades efter införandet, inte före. Mindre företag införde det senare, men deras samband med prestanda var starkare.

Effektens storlek spelar mindre roll än dess form. Forskarna fann att införandet gick hand i hand med informationsteknik och utbildade medarbetare. Data lönar sig när den förändrar hur beslut fattas, och när människorna och systemen runt den förändras också.

Mätt ända till pengarna

Marknadsföring är där glappet är störst. I en Gartner-undersökning bland 377 användare av marknadsanalys i maj och juni 2022 påverkade analyser drygt hälften av marknadsföringsbesluten, 53 procent. En tredjedel av de svarande sa att beslutsfattare plockar russinen ur kakan i data för att berätta den historia de redan bestämt sig för.

En del av orsaken är strukturell. Talen finns i många verktyg: webbanalys i ett, CRM i ett annat, nyhetsbrevet, de sociala kanalerna och annonserna var och en i sitt, och ekonomin någon annanstans igen. Varje verktyg rapporterar framgång i sin egen valuta, klick här, öppningar där, leads på ett tredje ställe. Inget av dem rapporterar det tal som ett företag drivs på: hur mycket pengar som kom tillbaka för de pengar som gick ut.

Att mäta ända till pengarna innebär att följa ett lead från det första besöket via formuläret, samtalet och offerten till den betalda fakturan. När den kedjan finns förändras samtalet. En kanal som ger många billiga leads och inga kunder ser annorlunda ut. Det gör också en långsam kanal som ger få leads och det mesta av intäkterna.

När ett enda tal vänder ett företag

Ibland räcker en enda ärlig mätning för att ändra en riktning. I ett stort fältexperiment som publicerades 2014 stängde ekonomerna Tom Blake, Chris Nosko och Steven Tadelis av eBays betalda sökannonser i delar av USA och jämförde försäljningen. För sökningar på eBays eget namn kom nästan all betald trafik i stället helt enkelt in via gratis träffar, och annonserna hade ingen mätbar kortsiktig nytta. För andra sökord hjälpte annonserna nya och tillfälliga köpare, men det mesta av pengarna gick till frekventa köpare som ändå skulle ha köpt, så den genomsnittliga avkastningen var negativ. De verkliga avkastningarna var en bråkdel av vad de vanliga uppskattningarna hade visat.

Yahoo lärde sig en liknande läxa, som Ron Kohavi och Stefan Thomke beskrev i Harvard Business Review. En observationsstudie uppskattade att displayannonser för ett varumärke ökade sökningarna på det med 871 till 1'198 procent. Ett kontrollerat experiment mätte 5,4 procent.

Airbnb ändrade kurs på företagsnivå. År 2020, året då pandemin stoppade resandet, skar det ned sin varumärkes- och performancemarknadsföring från 1,14 miljarder dollar till 479 miljoner, en minskning med 58 procent. I sin första årsredovisning som börsnoterat bolag lade det fram en strategi för att växa varumärkesmarknadsföringen, locka fler gäster via direkta och obetalda kanaler och lägga mindre på performancemarknadsföring än 2019. I maj 2021 sa dess vd, Brian Chesky, till analytiker att 90 procent av trafiken var obetald eller direkt.

Fällorna

Tal kan vilseleda lika väl som vägleda. Fåfängemått är den första fällan. Följare, visningar, sidvisningar och öppningsfrekvenser är lätta att öka och lätta att rapportera, och de säger lite om intäkter. De hör hemma på en instrumentpanel först när de är kopplade till något som ger betalt.

Saknade data är den andra. Besökare avstår från cookies, formulär är inte taggade, samtal når aldrig CRM och ekonomisystemet pratar inte med något. En rapport som i tysthet fyller luckorna med uppskattningar ser komplett ut och är det inte. Ett saknat tal ska visas som saknat.

Korrelation utklädd till orsak är den tredje. Kohavi och Thomke beskriver team på Microsoft Office som drog slutsatsen att avancerade funktioner minskade bortfallet, när storanvändare helt enkelt provar fler funktioner och också lämnar mer sällan. Med samma logik lämnade användare som såg felmeddelanden också mer sällan. Bara ett kontrollerat test skiljer orsak från sammanträffande.

Den tystaste fällan är att inte besluta något. En instrumentpanel som ingen agerar på är en kostnad.

Vad som stannar hos människor

Data beslutar inte. Det gör människor, och det bör de göra. Talen säger vad som hände och, med ett bra test, vad som orsakade det. De säger inte vad ett företag vill vara, vilka kunder det helst slipper eller när man ska ta en risk som historien inte kan backa upp. Det omdömet, och ansvaret för det, stannar hos de människor som driver företaget. Ärliga tal ger det omdömet bättre material. De ersätter det inte.

Vad ett företag kan göra

Börja med en fråga som kostar pengar när du svarar fel på den, till exempel vilken kanal som ger betalande kunder. Koppla ihop de få källor som besvarar den, från det första besöket till fakturan, och markera varje lucka i stället för att fylla den. Besluta sedan en sak utifrån det talet och testa nästa.

Det här är jobbet för North. Det samlar webbanalys, formulär, CRM, e-post, sociala medier, annonser och den verkliga ekonomin i en vy, följer varje tratt ända till pengarna och visar varje siffra som uppmätt eller som saknad. En assistent svarar på frågor med källan till varje tal, och en människa beslutar. Där ett beslut kräver en orsak i stället för en korrelation kör Proof testet.