L'objectiu d'aquest exercici és proporcionar una experiència pràctica en l'anàlisi de resultats d'una prova A/B. Els estudiants aprendran a interpretar les dades, calcular estadístiques clau i prendre decisions informades basades en els resultats.

Imagina que treballes per a una empresa de comerç electrònic que vol millorar la taxa de conversió de la seva pàgina de producte. S'ha realitzat una prova A/B per comparar dues versions de la pàgina:

• Versió A (Control): La pàgina actual.
• Versió B (Variant): Una pàgina amb un disseny nou i una crida a l'acció (CTA) més destacada.

Les dades recollides durant la prova A/B són les següents:

Primer, calculem la diferència en la taxa de conversió entre les dues versions.

\[ \text{Diferència en la Taxa de Conversió} = \text{Taxa de Conversió de la Versió B} - \text{Taxa de Conversió de la Versió A} \]

\[ \text{Diferència en la Taxa de Conversió} = 6% - 5% = 1% \]

Per determinar si la diferència és estadísticament significativa, utilitzarem una prova Z. La fórmula per a la prova Z és:

\[ Z = \frac{p_1 - p_2}{\sqrt{p(1-p)\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}} \]

On:

• \( p_1 \) és la taxa de conversió de la Versió A (0.05).
• \( p_2 \) és la taxa de conversió de la Versió B (0.06).
• \( p \) és la taxa de conversió combinada.
• \( n_1 \) és el nombre de visitants de la Versió A (10,000).
• \( n_2 \) és el nombre de visitants de la Versió B (10,000).

Primer, calculem \( p \):

\[ p = \frac{500 + 600}{10,000 + 10,000} = \frac{1100}{20,000} = 0.055 \]

Ara, substituïm els valors a la fórmula de la prova Z:

\[ Z = \frac{0.05 - 0.06}{\sqrt{0.055(1-0.055)\left(\frac{1}{10,000} + \frac{1}{10,000}\right)}} \]

\[ Z = \frac{-0.01}{\sqrt{0.055 \times 0.945 \times 0.0002}} \]

\[ Z = \frac{-0.01}{\sqrt{0.0001041}} \]

\[ Z = \frac{-0.01}{0.0102} \approx -0.98 \]

Un valor Z de -0.98 no és suficient per rebutjar la hipòtesi nul·la a un nivell de significació del 5% (el valor crític és ±1.96). Això significa que la diferència observada en la taxa de conversió no és estadísticament significativa.

• La Versió B va mostrar una taxa de conversió lleugerament superior (6%) en comparació amb la Versió A (5%).
• No obstant això, la diferència no és estadísticament significativa segons la prova Z.

• Repetir l'Experiment: Considera augmentar la mida de la mostra per obtenir resultats més concloents.
• Anàlisi Addicional: Examina altres mètriques com el valor mitjà de la comanda, la taxa de rebot, etc., per obtenir una visió més completa.
• Optimització Contínua: Continua experimentant amb altres elements de la pàgina per trobar millores significatives.

1. Dades: Utilitza les dades proporcionades per calcular la diferència en la taxa de conversió i la significació estadística.
2. Anàlisi: Interpreta els resultats i redacta un informe breu amb les teves conclusions i recomanacions.

1. Diferència en la Taxa de Conversió:

   • Diferència = 1%

2. Prova Z:

   • Valor Z ≈ -0.98

3. Informe:

   Conclusions:

   • La diferència en la taxa de conversió no és estadísticament significativa.

   Recomanacions:

   • Repetir l'experiment amb una mostra més gran.
   • Analitzar altres mètriques.
   • Continuar amb l'optimització contínua.

• No considerar la mida de la mostra: Una mostra petita pot no proporcionar resultats concloents.
• Ignorar altres mètriques: Focalitzar-se només en la taxa de conversió pot donar una visió limitada.
• No realitzar proves de significació: Assumir que qualsevol diferència és significativa sense proves estadístiques.

• Utilitza eines d'anàlisi: Plataformes com Google Analytics poden ajudar a recollir i analitzar dades de manera eficient.
• Documenta tot el procés: Mantenir un registre detallat de cada pas de l'experimentació ajuda a identificar àrees de millora.
• Aprèn dels resultats: Tant si els resultats són significatius com si no, sempre hi ha alguna cosa a aprendre de cada experiment.

Aquest exercici ha proporcionat una visió pràctica de com analitzar els resultats d'una prova A/B. Ara estàs preparat per aplicar aquests coneixements en situacions reals i millorar les teves estratègies de màrqueting digital basades en dades.