L'objectiu d'aquest exercici és proporcionar una experiència pràctica en l'anàlisi de resultats d'una prova A/B. Els estudiants aprendran a interpretar les dades, calcular estadístiques clau i prendre decisions informades basades en els resultats.

Imagina que treballes per a una empresa de comerç electrònic que vol millorar la taxa de conversió de la seva pàgina de producte. S'ha realitzat una prova A/B per comparar dues versions de la pàgina:

• Versió A (Control): La pàgina actual.
• Versió B (Variant): Una pàgina amb un disseny nou i una crida a l'acció (CTA) més destacada.

Les dades recollides durant la prova A/B són les següents:

Primer, calculem la diferència en la taxa de conversió entre les dues versions.

èóóóóó

èó

Per determinar si la diferència és estadísticament significativa, utilitzarem una prova Z. La fórmula per a la prova Z és:

On:

• és la taxa de conversió de la Versió A (0.05).
• és la taxa de conversió de la Versió B (0.06).
• és la taxa de conversió combinada.
• és el nombre de visitants de la Versió A (10,000).
• és el nombre de visitants de la Versió B (10,000).

Primer, calculem :

Ara, substituïm els valors a la fórmula de la prova Z:

Un valor Z de -0.98 no és suficient per rebutjar la hipòtesi nul·la a un nivell de significació del 5% (el valor crític és ±1.96). Això significa que la diferència observada en la taxa de conversió no és estadísticament significativa.

• La Versió B va mostrar una taxa de conversió lleugerament superior (6%) en comparació amb la Versió A (5%).
• No obstant això, la diferència no és estadísticament significativa segons la prova Z.

• Repetir l'Experiment: Considera augmentar la mida de la mostra per obtenir resultats més concloents.
• Anàlisi Addicional: Examina altres mètriques com el valor mitjà de la comanda, la taxa de rebot, etc., per obtenir una visió més completa.
• Optimització Contínua: Continua experimentant amb altres elements de la pàgina per trobar millores significatives.

1. Dades: Utilitza les dades proporcionades per calcular la diferència en la taxa de conversió i la significació estadística.
2. Anàlisi: Interpreta els resultats i redacta un informe breu amb les teves conclusions i recomanacions.

1. Diferència en la Taxa de Conversió:

   • Diferència = 1%

2. Prova Z:

   • Valor Z ≈ -0.98

3. Informe:

   Conclusions:

   • La diferència en la taxa de conversió no és estadísticament significativa.

   Recomanacions:

   • Repetir l'experiment amb una mostra més gran.
   • Analitzar altres mètriques.
   • Continuar amb l'optimització contínua.

• No considerar la mida de la mostra: Una mostra petita pot no proporcionar resultats concloents.
• Ignorar altres mètriques: Focalitzar-se només en la taxa de conversió pot donar una visió limitada.
• No realitzar proves de significació: Assumir que qualsevol diferència és significativa sense proves estadístiques.

• Utilitza eines d'anàlisi: Plataformes com Google Analytics poden ajudar a recollir i analitzar dades de manera eficient.
• Documenta tot el procés: Mantenir un registre detallat de cada pas de l'experimentació ajuda a identificar àrees de millora.
• Aprèn dels resultats: Tant si els resultats són significatius com si no, sempre hi ha alguna cosa a aprendre de cada experiment.

Aquest exercici ha proporcionat una visió pràctica de com analitzar els resultats d'una prova A/B. Ara estàs preparat per aplicar aquests coneixements en situacions reals i millorar les teves estratègies de màrqueting digital basades en dades.