El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència

HOME

La preparació i neteja de dades és una etapa crucial en el procés d'investigació de mercat. Abans de començar l'anàlisi, és essencial assegurar-se que les dades recollides siguin precises, completes i lliures d'errors. Aquest procés inclou diverses tècniques i pràctiques per garantir la qualitat de les dades.

Objectius de la Preparació i Neteja de Dades

Eliminar Errors i Inconsistències: Corregir dades incorrectes o inconsistents.
Gestionar Valors Perduts: Tractar els valors que falten en el conjunt de dades.
Normalitzar Dades: Assegurar que les dades segueixin un format coherent.
Eliminar Duplicats: Detectar i eliminar registres duplicats.
Validar Dades: Comprovar que les dades siguin vàlides i rellevants per a l'anàlisi.

Passos per a la Preparació i Neteja de Dades

Revisió Inicial de les Dades

Exploració de Dades: Examinar les dades per identificar problemes evidents.
Descripció Estadística: Utilitzar mesures estadístiques bàsiques (mitjana, mediana, moda, desviació estàndard) per entendre la distribució de les dades.

Tractament de Valors Perduts

Eliminació de Registres: Si els valors perduts són pocs i no afecten significativament l'anàlisi, es poden eliminar els registres incomplets.
Imputació de Valors: Substituir els valors perduts per la mitjana, mediana o un valor predit mitjançant tècniques estadístiques o d'aprenentatge automàtic.

Correcció d'Errors i Inconsistències

Errors Tipogràfics: Corregir errors de digitació o d'entrada de dades.
Inconsistències de Format: Assegurar que totes les dades segueixin el mateix format (per exemple, dates en el mateix format, unitats de mesura consistents).

Normalització de Dades

Escalatge de Dades: Ajustar les dades perquè estiguin en la mateixa escala (per exemple, normalitzar valors entre 0 i 1).
Codificació de Variables Categòriques: Convertir variables categòriques en variables numèriques mitjançant tècniques com la codificació one-hot.

Eliminació de Duplicats

Identificació de Duplicats: Utilitzar funcions de programari estadístic per detectar registres duplicats.
Eliminació de Duplicats: Eliminar els registres duplicats per evitar biaixos en l'anàlisi.

Validació de Dades

Comprovació de Rangs: Assegurar que els valors de les dades estiguin dins de rangs raonables.
Verificació de Relacions: Comprovar que les relacions entre variables siguin coherents (per exemple, la suma de parts iguala el total).

Eines per a la Preparació i Neteja de Dades

Programari Estadístic

Excel: Funcions com IFERROR, VLOOKUP, i Data Validation per netejar i validar dades.
SPSS: Funcions de neteja de dades i transformacions estadístiques.

Llenguatges de Programació

Python: Llibreries com pandas i numpy per a la manipulació i neteja de dades.
R: Paquets com dplyr i tidyr per a la transformació i neteja de dades.

Exemples Pràctics

Exemple en Python

import pandas as pd
import numpy as np

# Carregar dades
df = pd.read_csv('dades.csv')

# Revisió inicial
print(df.describe())

# Tractament de valors perduts
df.fillna(df.mean(), inplace=True)

# Correcció d'errors tipogràfics
df['categoria'] = df['categoria'].str.lower()

# Normalització de dades
df['preu'] = (df['preu'] - df['preu'].min()) / (df['preu'].max() - df['preu'].min())

# Eliminació de duplicats
df.drop_duplicates(inplace=True)

# Validació de dades
assert df['edat'].between(0, 120).all(), "Hi ha valors d'edat fora de rang!"

print("Dades netejades:")
print(df.head())

Exemple en R

library(dplyr)
library(tidyr)

# Carregar dades
df <- read.csv('dades.csv')

# Revisió inicial
summary(df)

# Tractament de valors perduts
df <- df %>% replace_na(list(preu = mean(df$preu, na.rm = TRUE)))

# Correcció d'errors tipogràfics
df$categoria <- tolower(df$categoria)

# Normalització de dades
df <- df %>% mutate(preu = (preu - min(preu)) / (max(preu) - min(preu)))

# Eliminació de duplicats
df <- df %>% distinct()

# Validació de dades
stopifnot(all(df$edat >= 0 & df$edat <= 120))

print("Dades netejades:")
print(head(df))

Exercicis Pràctics

Exercici 1: Tractament de Valors Perduts

Carrega un conjunt de dades amb valors perduts.
Substitueix els valors perduts per la mitjana de la columna corresponent.
Verifica que no hi hagi valors perduts després de la imputació.

Exercici 2: Normalització de Dades

Carrega un conjunt de dades amb valors numèrics.
Normalitza els valors d'una columna específica entre 0 i 1.
Comprova que els valors normalitzats estiguin dins del rang esperat.

Solucions

Solució Exercici 1 (Python)

import pandas as pd

# Carregar dades
df = pd.read_csv('dades_perdudes.csv')

# Substituir valors perduts per la mitjana
df.fillna(df.mean(), inplace=True)

# Verificar que no hi hagi valors perduts
assert df.isnull().sum().sum() == 0, "Encara hi ha valors perduts!"

print("Dades després de la imputació:")
print(df.head())

Solució Exercici 2 (Python)

import pandas as pd

# Carregar dades
df = pd.read_csv('dades_numeriques.csv')

# Normalitzar valors
df['columna_normalitzada'] = (df['columna'] - df['columna'].min()) / (df['columna'].max() - df['columna'].min())

# Comprovar rang
assert df['columna_normalitzada'].between(0, 1).all(), "Hi ha valors fora de rang!"

print("Dades normalitzades:")
print(df.head())

Conclusió

La preparació i neteja de dades és un pas fonamental per garantir la qualitat de les dades abans de l'anàlisi. Mitjançant tècniques com la imputació de valors perduts, la correcció d'errors, la normalització de dades i l'eliminació de duplicats, podem assegurar que les dades siguin fiables i útils per a la presa de decisions informades.

Preparació i Neteja de Dades