Els sistemes de fitxers distribuïts (DFS, per les seves sigles en anglès) són una tecnologia clau en el processament de dades massives. Permeten emmagatzemar i gestionar grans volums de dades de manera eficient i fiable, distribuint-les a través de múltiples màquines. Això no només augmenta la capacitat d'emmagatzematge, sinó que també millora la disponibilitat i la tolerància a fallades.

Un sistema de fitxers distribuït és un sistema que permet l'accés a fitxers emmagatzemats en múltiples servidors com si fossin en un sol sistema de fitxers.

• Escalabilitat: Capacitat per augmentar la mida del sistema afegint més nodes.
• Tolerància a Fallades: Capacitat per continuar funcionant correctament fins i tot si alguns nodes fallen.
• Alta Disponibilitat: Dades accessibles en tot moment.
• Consistència: Garantir que totes les còpies de les dades siguin les mateixes en tots els nodes.

1. Namenode: Responsable de gestionar la metadata i la ubicació dels fitxers.
2. Datanodes: Emmagatzemen les dades reals i executen les operacions de lectura/escriptura.
3. Client: Interactua amb el sistema de fitxers per llegir i escriure dades.

1. Escritura de Fitxers: El client divideix el fitxer en blocs i els envia als datanodes. El namenode actualitza la metadata.
2. Lectura de Fitxers: El client consulta el namenode per obtenir la ubicació dels blocs i els llegeix directament dels datanodes.

• Arquitectura: Master-slave, amb un Namenode i múltiples Datanodes.
• Característiques: Dissenyat per a sistemes de computació distribuïda, alta tolerància a fallades, escalabilitat.
• Ús: Utilitzat en entorns de Big Data per emmagatzemar grans volums de dades.

• Arquitectura: Similar a HDFS, amb un Master i múltiples Chunkservers.
• Característiques: Optimitzat per a grans fitxers, alta disponibilitat, replicació de dades.
• Ús: Utilitzat internament per Google per gestionar les seves dades massives.

• Arquitectura: Totalment distribuïda, sense un únic punt de fallada.
• Característiques: Escalabilitat massiva, alta disponibilitat, suport per a múltiples tipus de dades (objectes, blocs, fitxers).
• Ús: Utilitzat en entorns de núvol i emmagatzematge d'objectes.

• Escalabilitat: Permet gestionar petabytes de dades afegint més nodes.
• Tolerància a Fallades: Les dades es repliquen en múltiples nodes, augmentant la fiabilitat.
• Rendiment: Millora el rendiment de lectura/escriptura distribuint les operacions.

• Complexitat: La gestió i configuració poden ser complexes.
• Consistència: Garantir la consistència de les dades pot ser un repte.
• Cost: Pot ser costós en termes de maquinari i manteniment.

Objectiu: Configurar un mini clúster HDFS en un entorn local.

Passos:

1. Instal·la Hadoop en la teva màquina.
2. Configura els fitxers core-site.xml i hdfs-site.xml.
3. Inicia el Namenode i els Datanodes.
4. Crea un fitxer i carrega'l al HDFS.
5. Verifica la ubicació dels blocs utilitzant la interfície web de HDFS.

Solució:

Objectiu: Practicar operacions bàsiques de lectura i escriptura en HDFS.

Passos:

1. Escriu un fitxer de text a HDFS.
2. Llegeix el fitxer des de HDFS.
3. Elimina el fitxer de HDFS.

Solució:

Els sistemes de fitxers distribuïts són fonamentals per al processament de dades massives, oferint escalabilitat, tolerància a fallades i alta disponibilitat. HDFS i GFS són exemples prominents que han demostrat ser eficients en entorns de Big Data. La comprensió i la pràctica amb aquestes tecnologies són essencials per a qualsevol professional que treballi amb grans volums de dades.