Come ottenere il 23% di Fatturato in più con un Test Multivariato (Caso Studio)

Meglio Trustpilot, Spedizione Gratuita o entrambi?

Insieme al cliente ci siamo chiesti se l'inserimento di un badge Trustpilot e/o l'indicazione di spedizione gratuita in pagina prodotto potessero migliorare il tasso di conversione e le entrate medie per utente.

Nonostante possano sembrare modifiche innocue, noi di Hoculus sappiamo benissimo che non è così... nel tempo abbiamo visto centinaia di volte come anche le modifiche più semplici siano capaci di stravolgere in bene o in male le performance di un e-commerce, e questo caso studio ne è un chiaro esempio.

Modalità di test

Per ottenere il maggior numero di informazioni, abbiamo scelto di eseguire un Test Multivariato. 

Questa tipologia consiste nel creare delle varianti base (versioni modificate della pagina da testare) per poi mescolarle tra di loro in modo da valutare tutti i casi possibili.

In particolare, in questo caso, abbiamo realizzato due varianti base:

• A1 - Trustbox Trustpilot, di tipo Microreview, sotto il titolo del prodotto
• B1 - Testo "Spedizione Gratuita" accanto al prezzo del prodotto

Data la tipologia del test, si ottengono quindi quattro varianti complessive:

• A0-B0 - Versione originale non modificata della pagina (il punto di riferimento)
• A1-B0 - Solo Trustbox Trustpilot 
• A0-B1 - Solo testo "Sedizione Gratuita"
• A1-B1 - Trustbox Trustpilot + Spedizione Gratuita

Considerazioni tecniche

Per l'esecuzione di questo test utilizziamo Google Optimize.

Nonostante le modifiche in questione siano molto semplici da realizzare, evitiamo di implementarle utilizzando l'interfaccia grafica di questo Tool.

Modificando le pagine con l'editor integrato su Google Optimize, potrebbero infatti verificarsi dei bug dovuti alle modalità tecniche con cui vengono applicati i cambiamenti.

Per questo motivo preferiamo applicare le modifiche direttamente sul sito del cliente, con del codice scritto ad hoc, utilizzando Google Optimize e Google Analytics esclusivamente per la raccolta e l'analisi dei dati dell'esperimento.

In questo modo otteniamo un controllo maggiore sui dati e non abbiamo limiti tecnici sulla complessità delle modifiche delle varianti.

Analisi dei Risultati

Una volta completato il set-up e avviato il test, attendiamo che ogni variante ottenga un numero di sessioni e conversioni sufficienti affinché i dati siano statisticamente rilevanti.

Terminata la fase di raccolta dei dati, (in questo caso circa 17 giorni) è possibile quindi analizzare i dati: 

Nella tabella qui sopra sono riportati i valori reali ottenuti dalle varianti durante l'esperimento, grazie ai quali possiamo finalmente individuare la variante vincente.

In particolare, l'ultima colonna riporta i valori di Entrate calcolate per sessione (EPV o EPS), ovvero le Entrate ottenute dalla singola variante divise per il numero di sessioni corrispondenti; così' facendo si ottiene il valore medio che ogni sessione genera sul sito.

Il dato di riferimento è quello della combinazione A0-B0 che rappresenta la versione originale del sito senza alcuna modifica.

Osservando l'ultima colonna è quindi evidente che la combinazione A1-B0 ha generato maggiori entrate rispetto a tutte le altre, realizzando un +23% sul EPV della versione originale e che, una volta implementata definitivamente, si rifletterà sul fatturato complessivo.

Confrontando le Entrate Per Sessione della variante originale e quelle di A1-B0, si ricava infatti che quest'ultima realizzerà circa 1400€ di entrate in più ogni 17 giorni rispetto alla versione non modificata.

Altrettanto interessante è il dato registrato da A0-B1... Chi poteva mai immaginare che il testo "Spedizione gratuita" potesse peggiorare le performance? 

Eppure i dati parlano chiaro: entrambe le varianti che contengono quella frase, rispettivamente A0-B1 e A1-B1, hanno registrato un peggioramento più o meno incisivo rispetto alla versione di rifermento.

Conclusioni

Abbiamo scelto di pubblicare questo test come caso studio non tanto per il miglioramento percentuale, nè tantomeno per la complessità tecnica; il nostro scopo è dimostrare come, a volte, anche le modifiche apparentemente più innocue possono causare delle perdite permanenti e inaspettate di fatturato mentre altri cambiamenti possono superare le aspettative.

Per questo motivo consigliamo spesso ai nostri clienti di consentirci di testare le modifiche attraverso A/B Test o Test Mutivariati, così da avere la certezza che gli interventi eseguiti abbiano effettivamente un impatto positivo sul e-commerce

PS. Per la creazione delle varianti, l'implementazione di questo test e l'analisi dei dati, sono stati necessari 30 minuti del nostro servizio di Potenziamento e-commerce Shopify