El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència

HOME

L'anàlisi de resultats és una de les parts més crucials de les proves A/B, ja que determina si les hipòtesis plantejades són correctes i si les modificacions implementades tenen un impacte significatiu. En aquest tema, aprendrem a analitzar els resultats de les proves A/B de manera efectiva.

Objectius d'Aprenentatge

Comprendre els conceptes bàsics d'estadística aplicats a les proves A/B.
Aprendre a interpretar els resultats de les proves A/B.
Identificar errors comuns en l'anàlisi de resultats.
Utilitzar eines i tècniques per a l'anàlisi de dades.

Conceptes Bàsics d'Estadística

Hipòtesi Nul·la i Hipòtesi Alternativa

Hipòtesi Nul·la (H0): No hi ha diferència significativa entre les dues versions (control i variant).
Hipòtesi Alternativa (H1): Hi ha una diferència significativa entre les dues versions.

Nivell de Significació (α)

El nivell de significació és la probabilitat de rebutjar la hipòtesi nul·la quan és certa. Un valor comú és 0.05 (5%).

Valor P

El valor P és la probabilitat de trobar els resultats observats, o més extrems, si la hipòtesi nul·la és certa. Si el valor P és menor que el nivell de significació, es rebutja la hipòtesi nul·la.

Interval de Confiança

Un interval de confiança és un rang de valors que es creu que conté el valor real de la diferència entre les versions amb un cert nivell de confiança (normalment 95%).

Passos per Analitzar els Resultats de les Proves A/B

Recopilar Dades

Assegura't que has recopilat suficients dades per obtenir resultats significatius. Això inclou el nombre de visites, conversions, i altres mètriques rellevants.

Calcular les Mètriques Clau

Taxa de Conversió (CR): \(\text{CR} = \frac{\text{Nombre de conversions}}{\text{Nombre de visites}}\)
Diferència de Conversió (ΔCR): \(\Delta \text{CR} = \text{CR}{\text{variant}} - \text{CR}{\text{control}}\)

Realitzar el Test Estadístic

Utilitza un test estadístic adequat (com el test Z o el test T) per determinar si la diferència en les taxes de conversió és significativa.

Interpretar els Resultats

Si el valor P < α: Rebutja la hipòtesi nul·la. Hi ha una diferència significativa entre les versions.
Si el valor P ≥ α: No rebutja la hipòtesi nul·la. No hi ha una diferència significativa entre les versions.

Crear un Informe de Resultats

Resumeix els resultats de la prova A/B en un informe clar i concís. Inclou gràfics i taules per il·lustrar les dades.

Exemple Pràctic

Dades de la Prova A/B

Mètrica	Control	Variant
Nombre de visites	10,000	10,000
Nombre de conversions	500	550

Càlcul de la Taxa de Conversió

Control: \(\text{CR}_{\text{control}} = \frac{500}{10,000} = 0.05\) (5%)
Variant: \(\text{CR}_{\text{variant}} = \frac{550}{10,000} = 0.055\) (5.5%)

Diferència de Conversió

\(\Delta \text{CR} = 0.055 - 0.05 = 0.005\) (0.5%)

Test Estadístic

Suposem que utilitzem un test Z. Calcularem el valor Z i el valor P corresponent.

import scipy.stats as stats

# Dades
n_control = 10000
n_variant = 10000
conversions_control = 500
conversions_variant = 550

# Taxa de conversió
cr_control = conversions_control / n_control
cr_variant = conversions_variant / n_variant

# Diferència de conversió
delta_cr = cr_variant - cr_control

# Error estàndard
se = ((cr_control * (1 - cr_control) / n_control) + (cr_variant * (1 - cr_variant) / n_variant)) ** 0.5

# Valor Z
z_score = delta_cr / se

# Valor P
p_value = stats.norm.sf(abs(z_score)) * 2  # Doble per a test bilateral

print(f"Valor Z: {z_score}")
print(f"Valor P: {p_value}")

Interpretació dels Resultats

Valor Z: 2.236
Valor P: 0.025

Com que el valor P (0.025) és menor que el nivell de significació (0.05), rebutgem la hipòtesi nul·la. Això indica que hi ha una diferència significativa entre les dues versions.

Errors Comuns en l'Anàlisi de Resultats

No recopilar suficients dades: Això pot portar a conclusions incorrectes.
No tenir en compte la variabilitat: Assegura't de considerar la variabilitat en les dades.
Interpretar incorrectament el valor P: Recorda que un valor P baix indica que és poc probable que els resultats siguin deguts a l'atzar.

Eines per a l'Anàlisi de Dades

Google Analytics: Per a l'anàlisi de dades web.
Optimizely: Per a la realització i anàlisi de proves A/B.
R i Python: Llenguatges de programació per a l'anàlisi estadística.

Resum

L'anàlisi de resultats de les proves A/B és essencial per determinar l'eficàcia de les estratègies de màrqueting. Comprendre els conceptes estadístics bàsics, realitzar tests estadístics adequats i interpretar correctament els resultats són habilitats clau per a qualsevol professional de màrqueting digital. Amb la pràctica i l'ús d'eines adequades, pots millorar significativament les teves capacitats d'anàlisi i optimització.

Anàlisi de Resultats de Proves A/B