El Sistema de Fitxers Distribuït de Hadoop (HDFS) és un component clau de l'arquitectura de Hadoop. HDFS està dissenyat per emmagatzemar grans volums de dades de manera fiable i per proporcionar un accés ràpid a aquestes dades. A continuació, explorarem els conceptes bàsics d'HDFS, la seva arquitectura, les seves característiques principals i com utilitzar-lo.

• Comprendre la funció i la importància d'HDFS en l'ecosistema Hadoop.
• Familiaritzar-se amb l'arquitectura d'HDFS.
• Aprendre les característiques clau d'HDFS.
• Conèixer les comandes bàsiques per interactuar amb HDFS.

HDFS està format per dos components principals:

1. Namenode: El servidor mestre que gestiona el sistema de fitxers i regula l'accés als fitxers per part dels clients.
2. Datanodes: Els servidors que emmagatzemen les dades reals. Cada Datanode gestiona l'emmagatzematge de les dades en el node on s'executa.

• Namenode: Manté la informació sobre la ubicació dels blocs de dades en els Datanodes. També gestiona les operacions de lectura i escriptura dels fitxers.
• Datanodes: Emmagatzemen les dades en blocs i informen periòdicament al Namenode sobre l'estat dels blocs que emmagatzemen.

1. Alta Disponibilitat: HDFS replica les dades en múltiples Datanodes per garantir la disponibilitat i la tolerància a fallades.
2. Escalabilitat: Pot gestionar petabytes de dades i escalar horitzontalment afegint més Datanodes.
3. Tolerància a Fallades: En cas de fallada d'un Datanode, les dades es poden recuperar des d'altres Datanodes que contenen rèpliques dels blocs.
4. Accés a Dades en Flux: Optimitzat per a lectures i escriptures seqüencials de grans volums de dades.

1. Crea un directori anomenat exercici1 a HDFS.
2. Llista el contingut del directori exercici1.

Solució

1. Copia un fitxer anomenat dades.txt des del sistema local a HDFS en el directori exercici1.
2. Descarrega el fitxer dades.txt des d'HDFS al sistema local.

Solució

En aquesta secció, hem après sobre el Sistema de Fitxers Distribuït de Hadoop (HDFS), incloent la seva arquitectura, components principals i característiques clau. També hem explorat algunes comandes bàsiques per interactuar amb HDFS i hem realitzat exercicis pràctics per reforçar els conceptes apresos. En la següent secció, aprofundirem en el Marc MapReduce, un altre component fonamental de l'ecosistema Hadoop.