La replicació de dades és un dels conceptes fonamentals en el Sistema de Fitxers Distribuït de Hadoop (HDFS). Aquesta funcionalitat garanteix la disponibilitat i la fiabilitat de les dades emmagatzemades en un clúster Hadoop. En aquesta secció, explorarem com funciona la replicació de dades en HDFS, els seus avantatges i com es configura.

Al final d'aquest tema, hauràs de ser capaç de:

• Entendre el concepte de replicació de dades en HDFS.
• Conèixer com es gestionen les rèpliques de blocs de dades.
• Configurar el factor de replicació en HDFS.
• Comprendre els avantatges de la replicació de dades.

La replicació de dades en HDFS implica la creació de múltiples còpies (rèpliques) de cada bloc de dades emmagatzemat en el sistema. Aquestes rèpliques es distribueixen en diferents nodes del clúster per garantir la disponibilitat i la tolerància a fallades.

El factor de replicació és el nombre de còpies que es creen per a cada bloc de dades. Per defecte, HDFS utilitza un factor de replicació de 3, el que significa que cada bloc de dades té tres còpies distribuïdes en diferents nodes.

HDFS segueix una estratègia específica per distribuir les rèpliques de blocs:

• La primera rèplica es col·loca en el node on es va crear el fitxer.
• La segona rèplica es col·loca en un node diferent dins del mateix rack.
• La tercera rèplica es col·loca en un node d'un rack diferent.

Aquesta estratègia ajuda a minimitzar la pèrdua de dades en cas de fallada d'un node o d'un rack sencer.

El factor de replicació es pot configurar a nivell global o per a fitxers individuals. A continuació, es mostren les dues maneres de configurar-lo:

Per configurar el factor de replicació globalment, has de modificar el fitxer hdfs-site.xml:

També pots establir el factor de replicació per a fitxers específics utilitzant la línia de comandes de HDFS:

Aquest comandament estableix el factor de replicació a 2 per al fitxer especificat.

La replicació de dades en HDFS ofereix diversos avantatges:

• Alta disponibilitat: Les dades estan disponibles fins i tot si un o més nodes fallen.
• Tolerància a fallades: La pèrdua d'un node no afecta la integritat de les dades, ja que hi ha còpies addicionals.
• Equilibri de càrrega: Les rèpliques permeten distribuir la càrrega de lectura entre diferents nodes, millorant el rendiment.

A continuació, es mostra un exemple pràctic de com configurar el factor de replicació per a un fitxer específic:

1. Crear un fitxer de prova:

2. Carregar el fitxer a HDFS:

3. Establir el factor de replicació a 2:

4. Verificar el factor de replicació:

Aquest comandament hauria de retornar 2, indicant que el factor de replicació s'ha establert correctament.

Exercici: Configura el factor de replicació per a un fitxer en HDFS i verifica la seva configuració.

1. Crea un fitxer de text amb contingut aleatori.
2. Carrega el fitxer a HDFS.
3. Estableix el factor de replicació a 4.
4. Verifica que el factor de replicació s'ha establert correctament.

Solució:

1. Crear un fitxer de text:

2. Carregar el fitxer a HDFS:

3. Establir el factor de replicació a 4:

4. Verificar el factor de replicació:

Aquest comandament hauria de retornar 4.

La replicació de dades en HDFS és essencial per garantir la disponibilitat i la fiabilitat de les dades en un clúster Hadoop. Configurar correctament el factor de replicació i entendre com es distribueixen les rèpliques és crucial per a l'eficàcia del sistema. Amb aquesta base, estàs preparat per aprofundir en altres aspectes avançats de HDFS i Hadoop.