Succesvol optimaliseren wordt vaak gelinkt aan de hoeveelheid experimenten binnen een organisatie. Hoe meer experimenten, hoe innovatiever en succesvoller bedrijven over het algemeen zijn (Scet.berkeley.edu). Amazon-baas Jeff Bezos wijdt het succes van zijn bedrijf aan het aantal experimenten dat elk jaar wordt uitgevoerd. Amazon doet meerdere experimenten per maand, soms zelfs meerdere experimenten op één dag. Succesvolle initiatieven zoals Prime, Echo en Kindle zijn hiervan het resultaat (Fast Company).
Experimenten zijn dus enorm waardevol en bieden betrouwbare inzichten om elk aspect van de customer journey te verfijnen (Optimizely). Ze vervangen aannames en giswerk door overtuigende en bewezen resultaten. Door te experimenteren behoud je het concurrentievoordeel en maximaliseer je de ROI.
Niet elk experiment is succesvol, maar zelfs als het faalt, leer je van het resultaat. Ontdekken dat iets niet werkt of dat je meer tijd nodig hebt, is immers ook belangrijk. Een succesvolle customer experience zit niet in het product, maar in het proces: experimenteren en ontwikkelen. Het doorlopen van het gehele optimalisatieproces is de sleutel tot succes.
Ontwikkelde designs gebruiken in het experiment
In de vorige fase van het optimalisatieproces zijn de designs gemaakt die je nu kunt gebruiken voor je experiment. Elk design wordt een aparte variant binnen het experiment. Heb je vier designs gemaakt, dan voeg je ook vier varianten toe. Binnen de meeste optimalisatietools is het mogelijk om meerdere varianten toe te voegen met behulp van een visual editor, zodat je gemakkelijk elementen kunt veranderen, anders positioneren of vervangen.
Het toevoegen van de designs is niet het enige belangrijke aspect binnen een experiment. Je moet ook rekening houden met URL-targeting, de doelgroep, de verdeling en de metrics.
URL-targeting
Door een URL toe te voegen aan het experiment, kun je meegeven op welke pagina of pagina’s van de website de varianten worden getoond. Je kunt het experiment koppelen aan een specifieke URL of aan een hele website. Het is alleen mogelijk om een experiment te richten op de hele website als het geteste element op elke pagina voorkomt, zoals de navigatie of footer. Een experiment kan ook worden gericht op een groep URL’s, bijvoorbeeld alle pagina’s binnen het checkout- of aanmeldproces. Hierbij is het van belang dat de groep URL’s hetzelfde template gebruikt, zodat het experiment op elke pagina wordt doorgevoerd.
Doelgroep: wie krijgt je experiment te zien?
Met behulp van een doelgroep bepaal je welke bezoekers bij het experiment worden betrokken. Zo kun je bezoekers targeten die een specifieke facebookadvertentie hebben gezien of je target alleen websitebezoekers op een mobiel apparaat. Deze doelgroepen bepaal je op basis van contextuele-, demografische- en gedragsvoorwaarden. Denk hierbij aan locatie, campagne, browser, apparaat, tijd van het bezoek, bron van het bezoek of de intentie van de bezoeker. Uiteraard is het ook mogelijk om geen doelgroep mee te geven, zodat je experiment aan elke bezoeker wordt vertoond.
Een experiment kan meerdere doelgroepen bevatten, maar let wel op: een websitebezoeker wordt al in het experiment opgenomen zodra deze al aan één van de gestelde voorwaarden voldoet. Wanneer je gebruikmaakt van twee doelgroepen, is het raadzaam om een extra conditie aan het experiment toe te voegen.
Stel: je wilt mobiele websitebezoekers in de omgeving van Amsterdam targeten. Zonder condities wordt de bezoeker aan de eerste doelgroep toegevoegd. Je kunt dit voorkomen door de conditie “AND” toe te voegen. Dit zorgt ervoor dat de bezoeker aan beide voorwaarden moet voldoen om in de doelgroep van het experiment te passen. Wil je toch dat een bezoeker niet aan beide voorwaarden hoeft te voldoen, gebruik dan de conditie “OR”. Dan behoort de websitebezoeker al in de doelgroep wanneer deze aan één voorwaarde voldoet.
De voorwaarden voor doelgroepen zijn vaak niet ‘plakkerig’. Dit houdt in dat een voorwaarde opnieuw wordt beoordeeld bij het laden van elke nieuwe pagina. Een bezoeker kan bijvoorbeeld in eerste instantie aan de targetingvoorwaarden voldoen, maar met een andere browser of taalinstelling niet meer voldoen aan de voorwaarden. Uitzonderingen op deze regel zijn voorwaarden van advertentiecampagnes en van nieuwe of terugkerende sessies. Deze zijn wel ‘plakkerig’ en blijven geregistreerd zolang de gebruiker zijn instellingen niet verandert.
Verdeling van de varianten
De volgende stap in het experiment is om deze eerlijk te laten verlopen met behulp van het toewijzen van de varianten. Iedere variant krijgt een X percentage van het aantal bezoekers. Het verkeer wordt vervolgens willekeurig toegewezen aan de verschillende varianten. Vaak wordt 50% van het verkeer naar het origineel gestuurd en 50% naar een nieuwe variant. Indien je naast het origineel nog drie varianten hebt, kun je elke variant 25% van het verkeer toewijzen. In de meeste gevallen wordt het verkeer evenredig verdeeld over de varianten, maar dit is niet in beton gegoten. Je kunt bijvoorbeeld de eerste variant 50% van het verkeer toewijzen, het origineel 25% en de overige twee 12,5% waardoor een terugkerende websitebezoeker nog steeds dezelfde variant ziet.
Bepaal het succes met behulp van metrics
Metrics bepalen het succes van het experiment. Een metric is een indicator waardoor de effecten van een prestatie of product kunnen worden beoordeeld. Het geeft een beeld van de huidige stand van zaken. Door de juiste metrics te kiezen, kun je de eerder gestelde hypothese valideren of falsifiëren. De metric moet dus aansluiten bij de hypothese die je in de vorige fase hebt gedefinieerd en zorgt ervoor dat je vooruitgang boekt in de richting van de algemene bedrijfsdoelen. Gekozen metrics in het experiment moeten daarom rechtstreeks worden beïnvloed door de wijzigingen die in het experiment zijn gemaakt.
De eerste metric die je toevoegt, is de primaire metric. Dit is het belangrijkste doel van je experiment. Aan de hand van deze metric wordt beslist of de hypothese wordt gevalideerd of weerlegt. Deze eerste metric houdt bij in hoeverre de wijzigingen het gedrag van de bezoekers beïnvloedt. Naast de primaire meetwaarde kun je gebruik maken van zogenaamde secundaire metrics. De secundaire metrics geven aanvullende informatie over het gedrag van de bezoekers en zorgen ervoor dat het algehele resultaat wordt gewaarborgd. Hoe meer metrics en variaties in een experiment worden opgenomen, hoe langer het duurt voordat deze concreet worden.
Stel je wil de conversie verhogen op de website en kiest ervoor om het experiment te doen op de PDP-pagina. Op deze pagina heb je enkele verbeterpunten ontdekt die tot een hogere conversie kan leiden. Je kiest hiervoor het dichtsbijzijnde element: de add to cart button. In dit geval zou je primaire metric dan klikken op de add-to-cart button zijn. Als secundaire metrics kun je ervoor kiezen om de context van de customer journey mee te nemen zoals: het aantal pagina bezoeken op de winkelwagen pagina of de checkout pagina’s. Als je als doel hebt om de conversie te verhogen, is het wel verstandig om het aantal orders mee te nemen. In het experiment laat je zien in de button dat bezoekers tien euro korting krijgen bij hun volgende bestelling. Vervolgens geef je deze tien euro korting niet. Hierdoor kunnen bezoekers afhaken. Het kan het wel zijn dat het aantal klikken is gestegen, maar het aantal orders is niet gestegen. Je experiment is hiermee dan alsnog niet geslaagd.
Het succes van het experiment wordt bepaald door de varianten, de URL-targeting, de doelgroep, de verdeling en de metrics. Negeer deze belangrijke stappen dus niet! Het voorbereidende werk maakt het verschil in je optimalisatietraject en heeft direct invloed op de resultaten. Als het experiment eenmaal draait, ga dan niet achterover leunen, maar houd het goed in de gaten. Het kan namelijk gebeuren dat een experiment nog wat moet worden aangepast of bijgestuurd. Als het experiment afgelopen is, is het tijd om de resultaten te analyseren en te beslissen of de hypothese wordt gevalideerd of niet.