De laatste stap in het optimalisatieproces is het reviewen van een experiment. Zodra een experiment live staat, kunnen de resultaten worden geanalyseerd. Na het experiment ga je de data interpreteren.
Bij een datagedreven experiment is het van belang voldoende tijd te nemen om de gegevens te beoordelen en te interpreteren voordat je tot actie overgaat. De resultaten van het experiment zijn een ongelooflijk waardevolle bron. Zelfs al verliezen de varianten of zijn de resultaten niet overtuigend. De resultaten zorgen ervoor dat je meer te weten komt over je bezoekers en welke acties zij ondernemen op je website.
Zorg dat de hele organisatie betrokken blijft
De mentaliteit van een organisatie is de basis voor het succes en de duurzaamheid van het optimalisatieproces. Het is belangrijk dat het hele team achter de experimenten staat en dat alle betrokken partijen risico durven te nemen. Carol Dweck, professor psychologie aan Stanford-universiteit, noemt dit een groeimindset. Dit houdt in dat mensen constant kunnen blijven leren en groeien. Je moet niet bang zijn om te falen en juist open staan voor nieuwe dingen. Hierdoor gaat het analyseren makkelijker en zul je zien dat negatieve uitkomsten niet per sé slecht zijn.
Statistische significantie
De term ‘statistische significantie’ speelt een belangrijke rol bij het interpreteren van de resultaten. Statische significantie bepaalt de mate van zekerheid die aangeeft in hoeverre het resultaat niet berust op toeval. Wanneer de statistische significatie van een experiment 90% is, is het voor 90% zeker dat het resultaat niet berust op toeval. Hiermee kun je concluderen dat wanneer het experiment nogmaals zou worden uitgevoerd, 90% kans is op hetzelfde resultaat. Hoe hoger de significantie, hoe meer data nodig is en hoe langer het duurt voordat het resultaat wordt bepaald. De hoogte van de statistische significantie kun je bepalen aan de hand van het aantal bezoekers op de pagina van het experiment. Normaliter is dit 90%.
Segmenteren van de resultaten
Elke websitebezoeker heeft een ander doel en niet elk persoon gedraagt zich als een gemiddelde websitebezoeker. Het segmenteren van de resultaten is een krachtige manier om inzichten te genereren. Zijn er bezoekerssegmenten die zich anders gedragen dan de gemiddelde websitebezoeker? En waarom reageren deze anders?
Browsertype of apparaattype zijn bijvoorbeeld belangrijke segmenten. Na een experiment kan bijvoorbeeld blijken dat de variant op mobiel significant verliest, terwijl dit nog niet geldt voor alle bezoekers. In dat geval is het van belang te achterhalen waarom deze variant minder goed werkt op een mobiel apparaat. Combineer deze inzichten met andere segmenten of eerdere experimenten. Waarom reageren mobiele bezoekers anders dan andere bezoekers? Is het bijvoorbeeld lastiger om op de button te klikken?
Tijd om actie te ondernemen
Nadat de resultaten van een experiment zijn geanalyseerd, is het tijd voor actie. Uit een experiment kunnen winnende, verliezende of een niet-doorslaggevende varianten komen. Maar wat houdt dat precies in?
- Winnende variant:
wanneer tenminste één experiment een statistisch significant positief verschil vertoont ten opzichte van de basis conversieratio voor de primaire metric. - Verliezende variant:
wanneer alle experimentvarianten statistisch significante negatieve verschillen vertonen met het origineel. - Niet-doorslaggevende variant:
wanneer de prestaties voor alle varianten relatief gelijk zijn en er geen statistisch significante positieve of negatieve resultaten worden vertoond.
Ga aan de slag met de winnaar
Wanneer aan het eind van het experiment één duidelijke winnaar naar voren komt, kun je deze variant direct toevoegen aan je website en aan alle websitebezoekers vertonen. Het kan ook voorkomen dat meerdere winnende varianten naar voren komen. Probeer in dat geval de winnende varianten te combineren tot één geoptimaliseerde variant, om deze vervolgens weer te testen. Stel: bij variant A is informatie over het product toegevoegd en bij variant B is een extra button toegevoegd. Nu creëer je een nieuwe variant met informatie over het product én een extra button. Al deze winnende varianten zijn te gebruiken om te ontdekken welke veranderingen het gewenste resultaten hebben opgeleverd.
Negeer de verliezer niet
Veel organisaties vinden het vervelend als een experiment faalt en er alleen maar verliezers uitkomen. Verliezende varianten zijn helemaal niet zo slecht. Geef deze varianten dus ook aandacht, want deze kunnen juist hele waardevolle inzichten bieden. Vraag jezelf af waarom een variant slechter heeft geconverteerd. Bekijk ook of deze variant het bij een bepaalde doelgroep wel goed heeft gedaan. Kun je op basis van dit resultaat de variant nog wat optimaliseren zodat de uitslag positief wordt? Dit geldt vooral voor varianten met duidelijke alternatieve benaderingen, zoals afbeeldingen, kleuren, koppen en lay-outs.
De winnende verliezer
Soms is een verliezende variant zelfs eigenlijk een winnaar. Stel: in het nieuwe kwartaal wil je een nieuw aanmeldformulier toevoegen aan je website. Voordat het nieuwe project start, test je met een prototype. Dit prototype verwerk je in een experiment. Uit de analyse van het experiment blijkt dat het aantal aanmeldingen drastisch is verlaagd. Hier kun je beter nu achter komen, dan wanneer het project al helemaal af is. Door te testen ben je er in een vroeg stadium achter gekomen dat het niet nodig is en worden kosten bespaard.
Vals positief of vals negatief?
Uit de analyse van een experiment kan ook blijken dat de uitkomst een fout bevat. De uitkomst kan vals positief of vals negatief zijn:
- vals positief:
Er is geen verschil tussen de varianten, maar deze wordt wel gemeten. Het lijkt erop dat er een winnaar is, terwijl dit eigenlijk niet zo is. - vals negatief:
Een vals negatief resultaat houdt in dat er wél verschil is tussen de varianten, maar dat deze niet wordt gemeten. Er is dus een winnaar, maar dat is niet zichtbaar.
Deze uitkomst ontstaat door de grootte van de steekproef in het experiment. De ene steekproef kan toevallig een andere uitkomst geven dan van de gehele groep, waardoor deze niet representatief is voor de gehele groep. Gelukkig kan een foutieve uitslag worden voorkomen door een grote groep websitebezoekers op te nemen in een steekproef.
De uitkomst van een experiment is geanalyseerd en concrete actiepunten zijn geformuleerd: Je hebt nu officieel het hele optimalisatieproces doorlopen. Het reviewen van het experiment was de laatste stap. Door het implementeren van je actiepunten ben je een stapje dichter bij de ultieme customer experience.
Let op: de ultieme customer experience bereik je niet na één keer het optimalisatieproces te doorlopen. Er valt altijd iets te verbeteren. Heb je nog een onderdeel van je website waar je denkt dat er iets aan kan gebeuren? Doorloop het optimalisatieproces dan nog een keer. Start met data-analyse, kies een onderzoeksmethode, bedenk ideeën en een hypothese, ontwerp het design, zet het experiment op en review deze. Door continu te optimaliseren bereik je uiteindelijk de ultieme customer experience.