Magari hai già sentito parlare di A/B test o hai letto qualcosa su internet però non hai ancora le idee chiare. Bene, è arrivato il momento di sciogliere tutti i dubbi. Cos’è un a/b test? Come sfruttarne le potenzialità? Come implementare una politica vincente di testing? Se cerchi la risposta a queste domande leggi questa guida e facci sapere cosa ne pensi!

A/B testing: cosa, dove e perché

Un test nient’altro è che una tecnica che può essere utilizzata per ottimizzare la propria pagina web o il proprio sito per incrementarne la performance, qualunque sia l’obiettivo di conversione che si vuole raggiungere. È dunque uno strumento molto utile che può aiutarti a migliorare i tuoi ritorni, senza grandi sforzi.

L’idea di base è quella di testare due versioni diverse della pagina web che si intende migliorare in modo da capire quale sia in grado di generare più conversioni.

Ma cosa intendiamo per conversioni? In questo articolo parleremo di conversione per indicare il raggiungimento di quell’obiettivo che si intende ottenere con la propria pagina. Ad esempio potrebbe trattarsi dell'iscrizione ad una newsletter o, nel caso di un e-commerce, l'acquisto di un prodotto

Uno degli aspetti che vale la pena sottolineare è che il testing, essendo una tecnica di natura scientifica, è in grado di supportarti fornendo una base oggettiva e quantitativa per prendere le giuste decisioni e su cui strutturare le tue strategie on line. Quindi, è anche importante assumere il giusto atteggiamento e fidarsi dei risultati ottenuti anche se sono inaspettati o sorprendenti. In fondo, se sapessimo già tutto e conoscessimo già alla perfezione il nostro utente non avremmo bisogno di testare, quindi “keep calm and trust in testing”!

Non solo il testing si sposa bene con tutte le tipologie di siti e pagine presenti on line ma anche con tutti gli elementi che vi si possono trovare. In altre parole è praticamente possibile testare tutto ciò che vediamo in una pagina: colori, forme, posizione degli elementi, stile delle call-to-action, scritte, font e potremmo continuare per ore fino ad arrivare al confronto di design completamente differenti.

Già da queste poche righe si può cogliere quale potrebbe essere il valore apportato dall’implementazione di una politica di testing sul tuo sito. Vediamo allora come riuscirne a sfruttarne tutti i vantaggi.

 

guida ab testing

 

Come impostare un test in maniera efficiente

Dato che ci sono moltissimi elementi che impattano sull’efficacia delle pagine web, dunque sul conversion rate, si potrebbero avere dei dubbi su cosa testare. Per risolvere questo problema si possono individuare gli elementi che tra tutti meritano una priorità nell’esecuzione dei test.

Un’idea potrebbe essere quella di confrontare i dati delle performance registrati con quelli ideali così da individuare un terreno fertile di elementi da testare dove si hanno i maggiori scostamenti. Questo stesso ragionamento si può applicare sia a livello macro, ovvero a livello di intere aree sul sito, che a livello micro, ovvero sui singoli elementi che si trovano nelle pagine. Avendo, quindi, stabilito delle priorità sia nelle aree che tra gli elementi, si deve creare una testing roadmap che consenta di portare a termine i test nel modo più efficiente.

Affinché l’implementazione di questo approccio sia effettivamente di successo è necessario aggiornare continuamente la roadmap in base ai risultati che man mano si ottengono, solo così ci si potrà concentrare sempre su ciò che ha davvero senso. Un utile concetto per quanto riguarda l’identificazione delle priorità è quello di KPI (key performance indicator) che altro non è che un driver che si ritiene particolarmente indicativo dell’obiettivo che si intende raggiungere con la politica di testing.

Ad esempio, immaginando che tu sia il proprietario di un e-commerce, un KPI potrebbe essere il numero di iscritti alla newsletter sui nuovi articoli o il numero di vendite effettuate quotidianamente, ma anche il numero di utenti che riempiono il carrello senza però concludere l’acquisto. Una volta individuati i KPI più significativi quello che si fa è fissare dei valori target, quindi monitorare i risultati ottenuti per determinare le performance. Tutto ciò fa sì che si debba instituire una cultura di monitoraggio per avere sempre un quadro aggiornato e, anche se può sembrare banale, vale la pena ricordarlo: è necessario che i KPI siano misurabili, ovvero quantificabili in qualche modo.

Come scegliere i KPI migliori?

L’idea è quella di individuare degli elementi che, se variati, possono avere un effetto positivo sulle performance, quindi iniziare a fare testing per ottimizzarli. Per individuare questi elementi devi capire cos’è che ha un forte impatto sulla tua audience e ovviamente ciò sarà tanto più semplice quanto più conosci il tuo utente e il suo comportamento; in fondo si tratta di capire cosa ha la capacità di scatenare in essi una reazione.

 

ab testing cos'è

 

Per riuscire in questo intento puoi anche aiutarti con una serie di utili tool come ad esempio le heatmap di HotJar che ti consentono di vedere come e dove gli utenti interagiscono con la tua pagina o altri strumenti che ti consentono di conoscere i tempi di permanenza degli utenti nelle diverse pagine e di monitorarne i flussi.

Differenti punti di vista

Dobbiamo sottolineare che ci sono due principali approcci che puoi decidere di seguire ed hai già tutti gli strumenti per capire quale dei due è più affine alla tua pagina:

Big first, small then: tipicamente si tratta di effettuare un A/B test tradizionale in cui andare a confrontare due diverse alternative, l’attuale soluzione e la variazione, che differiscono radicalmente l’una dall’altra. Successivamente, avendo capito ciò che funziona si vanno a smussare gli angoli scendendo più nel dettaglio, quindi, andando ad effettuare test più granulari sui diversi elementi. Questo tipo di approccio può aver senso solo se è possibile individuare velocemente una versione vincitrice, infatti, se il test fallisce non c’è modo di capirne le cause e ciò elimina la possibilità di improvement.

Small first, big then: si tratta di implementare test multivariati; in effetti, quello che si fa è portare avanti test su un’ampia serie di piccole variazioni grazie a dei sistemi automatici che ne considerano le possibili permutazioni individuando la combinazione ottimale, quella maggiormente performante. Quindi in tal caso ci si concentra subito sui piccoli dettagli e magari alla fine si va a confrontare la pagina perfettamente ottimizzata con un design completamente differente per capire se apportare dei cambiamenti radicali potrebbe essere una buona idea.

Scegliere gli elementi da testare non è sufficiente, ci sono infatti altri due importanti aspetti da stabilire: la dimensione del campione, ovvero il numero di utenti a cui si sottoporrà il test e la durata del test. Continua a leggere l’articolo per scoprire come determinare queste grandezze ed avere dei risultati che siano davvero utili e soddisfacenti.

La dimensione del campione

Per quanto riguarda la dimensione del campione possiamo subito dare una regola di base molto generica: maggiore è la dimensione del campione, tanto più i risultati che si ottengono sono attendibili. Sicuramente ora ti starai chiedendo “allora quanto deve essere grande il mio campione?” beh purtroppo non c’è un numero magico, dipende molto dal minimo miglioramento che si vuole ottenere e dal livello di significatività desiderato.

In ogni caso c’è una buona notizia: infatti, nonostante esistano differenti metodi teorici per determinare la dimensione del campione, quello che molto semplicemente si può fare è ricorrere ad uno dei tanti calcolatori presenti in rete, come quello fornito da Unbounce, che in pochi secondi sono capaci di determinare la giusta dimensione campionaria e il tempo minimo di esecuzione del test, aspetti che come vedremo sono estremamente collegati tra loro.

In particolare, i dati di cui necessiti per poter usare uno di questi calcolatori sono i seguenti:

  • traffico medio quotidiano
  • miglioramento minimo desiderato
  • attuale conversion rate
  • numero di variazioni

Quanto far durare un test?

 

ab test guida

 

La prima cosa da tenere sempre a mente è che non si devono mai bloccare i test nel momento in cui si raggiunge la significatività statistica. In effetti, potrebbe succedere che la significatività statistica venga raggiunta in tempi molto brevi in quanto i primi visitatori sottoposti al test hanno preferito strettamente una variazione all’altra.

In pratica, se ad esempio avessimo due variazioni e i primi dieci visitatori giudicassero la variazione B come la vincente, sicuramente potremmo dire che si è raggiunto un risultato significativo dal punto di vista statistico ma non esaustivo. Davvero ti fideresti solo dei primi dieci utenti? D’altronde la significatività statistica è solamente capace di dirci se c’è una differenza tra le variazioni in termini di conversion rate e non se è giunto il momento di bloccare il test. Quindi, prima di bloccare un test, è fondamentale attendere il raggiungimento del minimo tempo e della minima dimensione del campione.

Questo ti darà un’ulteriore sicurezza: essere certo che un’eventuale indifferenza sia effettivamente tale e non il frutto di un test non perfettamente compiuto. Quello che stiamo dicendo è che in certe situazioni non è possibile affermare che una delle variazioni sia migliore dell’altra non tanto perché nell’audience c’è davvero un atteggiamento di indifferenza tra le versioni proposte, ma piuttosto perché ci sono problemi di dimensionamento o di tempistiche. Il pericolo è quindi quello di non cogliere quella differenza che sarebbe capace di far incrementare il conversion rate.

Ma non solo, ci sono ulteriori accorgimenti di cui tener conto. Ad esempio, sappiamo che l’audience presenta diversi tipi di comportamento in diversi periodi, quindi la cosa che dovresti fare è testare per un periodo sufficientemente lungo a coprire più di un intero business cycle, così da tener conto di tutte le fluttuazioni che normalmente caratterizzano il traffico.

Inoltre, c’è da considerare quello che viene chiamato effetto novità, ovvero il fatto che talvolta si crea entusiasmo nei confronti di una novità in quanto tale e non in quanto effettivamente migliore di quanto precedentemente esistente. Con il tempo tale effetto tende a smorzarsi, ecco dunque che si deve prolungare la durata di un test oltre il minimo sindacabile. Ciò ti consentirà di avere una maggiore robustezza nell’esito del test facendo sì che eventuali effetti novità vengano riassorbiti e che si riscontrino delle differenze in termini di conversion rate tra le variazioni solo quando effettivamente presenti.

Un giorno NON vale l’altro

Tipicamente il tasso di conversione varia tra i diversi giorni della settimana e tra le diverse ore del giorno, quindi proprio perché il periodo di somministrazione del test può influenzarne l’esito, vale la pena fare qualche piccola osservazione. Ad esempio, giornate particolari di cui devi tener conto quando decidi di svolgere un test potrebbero essere le seguenti.

Quello che potresti fare per evitare tali problematiche è prestare molta attenzione alle notizie divulgate e cercare di identificare attraverso dati storici l’esistenza di trend atipici nel tuo traffico, cercando di capire se questi sono riconducibili a eventi di natura esterna e non casuali. Quindi, semplicemente devi tener conto di tutto ciò quando imposti il tuo test, evitando tutte le possibili fonti di contaminazione.

Testing, non averne mai abbastanza!

Il miglioramento è un concetto fondamentale: dovresti andare oltre al mero risultato, ovvero non dovresti fare i test avendo come unico scopo quello di individuare una versione vincente, ma dovresti farli avendo avendo un obiettivo più ampio.

L’obiettivo ultimo che si dovrebbe avere quando si implementa una politica di A/B testing dovrebbe essere quello di conoscere approfonditamente l’utente, il suo comportamento e le sue preferenze. Ovvero, non basta capire se una variabile ha un effetto positivo o negativo ma se ne devono anche comprendere le motivazioni.

Sforzo inutile? Decisamente no anche se può richiedere molto tempo. Tutto ciò ti consentirà ti avere gli spunti giusti per ottimizzare ad ampio raggio la tua pagina e per impostare i prossimi test in maniera focalizzata e consapevole. Decisamente, quindi, l’esperienza del testing dovrebbe essere vissuta non solo con l’intento di aumentare le conversioni in senso stretto ma anche come un’opportunità per conoscere la propria audience e i suoi comportamenti sul sito.