Gli A/B test sono un utilissimo strumento per l’ottimizzazione di una landing page o del proprio sito web. Questi costituiscono, infatti, una solida base su cui fondare il processo di decision making volto ad incrementare le performance in termini di conversion rate. Tuttavia, per poterne cogliere a pieno le potenzialità è bene far chiarezza su una serie di aspetti. Scopriremo che gli A/B test sono solamente i più famosi esponenti di una più vasta famiglia di test ed impareremo a confrontarci con altre tipologie di test così da ricavarne tutte le potenzialità.

 

Testing: uno scopo, tante possibilità

A/B

Come detto, l’A /B test è una tecnica che consiste nel confrontare tra di loro due versioni della stessa pagina per comprendere quale sia la più efficace: si confronta la pagina originale con quella che in gergo viene detta variazione. Confrontare una pagina web con la sua variazione permette di suddividere il traffico in ingresso sulle due pagine, proprio per questo talvolta gli A/B test vengono anche chiamati split test.

 

Quale sarà tra le due la pagina vincitrice? Semplice, la più efficace sarà quella in grado di ottenere il più alto tasso di conversione, qualsiasi sia l’obiettivo di conversione che ti sei fissato. 

 

A/B/n

Qualora ti stessi chiedendo se l’unica alternativa sia testare due diverse soluzioni, devi sapere che in effetti la risposta è no: puoi testare tutte le variazioni che vuoi. In questo caso, ovvero quando si hanno più di due variazioni, si parla di A/B/n test e puoi decidere liberamente quante versioni testare. Tuttavia, devi ricordare che tante più sono le variazioni, maggiori saranno il traffico e il tempo da dedicare al test.

 

Test multivariato

Accanto al grande insieme degli A/B/n test si trova un’altra importante categoria di test: i test multivariati, noti anche come MVT testmultivariate test. Nel caso degli MVT test si identifica un ristretto numero elementi di una pagina così da creare delle variazioni basandosi su quegli aspetti specifici. Come? Un software si preoccupa di combinare gli elementi individuati in modo da generare una serie di differenti versioni della pagina che verranno, quindi, testate, attribuendo a ciascuna una quota del traffico totale.

 

testo multivariato

Come nel caso degli A/B test, la variazione vincitrice sarà quella capace di assicurare il miglior conversion rate. Ma il vero valore aggiunto del test multivariato è quello di saper mostrare l’impatto generato da ogni singolo cambiamento e da ciascuna combinazione dei singoli cambiamenti, ad esempio nel seguente modo:

 

A = + 10%                  B = + 5%              
A + B = + 13%B + C = - 10%
A + C = - 10%B + D = + 10%
A + D = + 15%B + C + D = - 15%
A + B + C = - 10%C = - 20%
A + B + D = - 20%C + D = - 20%
A + C + D = - 15%D = + 10%
A + B + C + D = + 5% 

 

Avere una tabella di questo tipo ti sarà molto utile perché è grazie a lei che potrai individuare con estrema semplicità la combinazione ideale. Nel nostro esempio, come puoi vedere, si tratta della combinazione A+D alla quale corrisponde un incremento del conversion rate del 15%.

 

Test fattoriale

Un’ultima importante tipologia di test che devi conoscere è quella nota come factorial test o test fattoriale. Si tratta di una tecnica molto interessante perché è capace di unire la rapidità dell’A/B test con l’accuratezza dell’MVT test. Come? Anzi che creare una variazione per ciascuna combinazione dei singoli cambiamenti, con il factorial test, puoi focalizzarti solo su alcuni specifici isolamenti: quelli che ritieni particolarmente rilevanti in termini di impatto.

A livello pratico quello che si fa è creare una serie di variazioni da sottoporre a test, inserendo in ciascuna di esse una particolare combinazione degli elementi che si vogliono testare. Quindi, ad esempio, quello che potresti fare è creare quattro differenti variazioni con le quali testare solo quattro particolari combinazioni degli elementi che hai deciso di cambiare.

Successivamente, quello che puoi fare è condurre un tradizionale A/B test in cui confrontare la miglior combinazione con la pagina di controllo iniziale, così sarai sicuro di avere un perfetto allineamento tra ciò che ti aspettavi e ciò che effettivamente si è verificato.

 

Come si può ben immaginare, nel fare un factorial test è di cruciale importanza la fase in cui si decide su quali particolari combinazioni focalizzarsi. A tal proposito quello che si deve fare è considerare tutte le possibili combinazioni e selezionare, tra tutte, quelle che secondo te sono capaci di generare i migliori impatti positivi. Questo processo sarà tanto più semplice quanto maggiore è la conoscenza che hai dell’utente, del suo comportamento e delle sue abitudini.

 

Variazioni: una, dieci o centomila?

Come ormai ti sarà chiaro, la grande differenza tra l’A/B test e il test multivariato sta nel numero di variazioni che hai modo di testare in contemporanea. Vale, quindi, la pena fare qualche precisazione sul valore delle variazioni e sulle problematiche che potrebbero portare con sé.

L’aspetto più interessante delle variazioni sta nella possibilità che ti danno di aumentare il tuo livello conoscitivo, quindi, in altri termini possiamo dire che il fatto di avere un numero elevato di variazioni ti consentirà di conoscere meglio il customer e le sue abitudini. Tutto ciò, come accennavamo prima ti sarà estremamente utile perché con il tempo ti aiuterà ad affinare la selezione degli insights e quindi a rendere i test sempre più efficienti.

Purtroppo, come spesso accade, c’è un però da tirare in ballo: le variazioni sono un utile strumento conoscitivo ma anche una fonte di problematiche. Innanzitutto, devi sempre tener conto del fatto che tante più variazioni vuoi testare, tanto maggiore è il traffico ed il tempo di cui devi disporre. Tale aspetto porta poi ad un secondo problema che è quello dell’“inquinamento”: quando i tempi di esecuzione di un test sono estremamente lunghi, può accadere che uno stesso soggetto acceda a variazioni differenti quando il suo cookie è stato cancellato andando così ad alterare i risultati. Infine c’è un ultimo problema, più di natura statistica, di cui si deve tener conto: il cosiddetto problema delle comparazioni multiple. In tal caso ci si riferisce al fatto che tanto maggiore è il numero delle variazioni, tanto maggiore è la probabilità di avere un falso vincitore. 

 

 

Tanti test e doverne usare solo uno, come scegliere?

Ora che conosci quali sono tutte le possibilità che hai per condurre un test, devi solo scegliere quella più adatta alla tua pagina. Grazie ad una serie di fattori chiave si tratta di una scelta sufficientemente semplice da prendere, devi solo aver bene a mente quali sono le tue esigenze e quali sono le principali caratteristiche della tua pagina. Scopriamo quali sono questi fattori che ti aiuteranno a convergere verso la soluzione su misura per te.

Il grande driver di cui devi tener conto è il regime di traffico sulla tua pagina, in effetti l’MVT test, che prevede che vengano testate simultaneamente molte variazioni, richiede un flusso molto più abbondante per ottenere un risultato significativo e proprio per questo spesso deve essere scartato a priori.

Se non hai vincoli di questo tipo, le linee generali da seguire sono le seguenti. Si utilizza il test multivariato in situazioni di raffinamento, ovvero quando si ha l’obiettivo di ottimizzare un design già esistente. Invece, si utilizza l’A/B test quando si vuole abbracciare un cambiamento radicale, ovvero quando si vogliono testare due versioni completamente differenti della pagina. Se invece hai vincoli di traffico, come già detto, devi necessariamente optare per un A/B test, questo infatti, proponendo grandi cambiamenti, riduce il tempo necessario per raggiungere un risultato significativo.

Quindi ricorda: cambiamenti drastici consentono di raggiungere velocemente un risultato conclusivo. In ogni caso, se non vuoi rinunciare alla precisione del test multivariato oppure se non sai se puntare sulla massima velocità o sulla massima accuratezza ricordati che il factorial test rappresenta una buona soluzione in quanto ti da la possibilità di fare un test con un buon livello di precisione ma allo stesso tempo di risparmiare tempo e traffico grazie al ridotto numero di variazioni esaminate.