El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència

HOME

En aquest tema, aprendrem les comandes bàsiques i avançades del Sistema de Fitxers Distribuït de Hadoop (HDFS). Aquestes comandes són essencials per gestionar i manipular fitxers dins del clúster de Hadoop.

Objectius d'aprenentatge

Entendre les comandes bàsiques de HDFS.
Aprendre a gestionar fitxers i directoris en HDFS.
Conèixer les comandes avançades per a la gestió de dades en HDFS.

Comandes bàsiques de HDFS

1.1. `hdfs dfs -ls`

Llista els fitxers i directoris en un directori especificat de HDFS.

Sintaxi:

hdfs dfs -ls [ruta]

Exemple:

hdfs dfs -ls /user/hadoop

1.2. `hdfs dfs -mkdir`

Crea un nou directori en HDFS.

Sintaxi:

hdfs dfs -mkdir [ruta]

Exemple:

hdfs dfs -mkdir /user/hadoop/new_directory

1.3. `hdfs dfs -put`

Copia fitxers des del sistema de fitxers local a HDFS.

Sintaxi:

hdfs dfs -put [fitxer_local] [ruta_hdfs]

Exemple:

hdfs dfs -put localfile.txt /user/hadoop/

1.4. `hdfs dfs -get`

Copia fitxers des de HDFS al sistema de fitxers local.

Sintaxi:

hdfs dfs -get [fitxer_hdfs] [ruta_local]

Exemple:

hdfs dfs -get /user/hadoop/hdfsfile.txt /local/path/

1.5. `hdfs dfs -rm`

Elimina fitxers o directoris de HDFS.

Sintaxi:

hdfs dfs -rm [ruta]

Exemple:

hdfs dfs -rm /user/hadoop/hdfsfile.txt

1.6. `hdfs dfs -rmdir`

Elimina un directori buit de HDFS.

Sintaxi:

hdfs dfs -rmdir [ruta]

Exemple:

hdfs dfs -rmdir /user/hadoop/empty_directory

Comandes avançades de HDFS

2.1. `hdfs dfs -du`

Mostra l'ús de disc per a fitxers i directoris en HDFS.

Sintaxi:

hdfs dfs -du [ruta]

Exemple:

hdfs dfs -du /user/hadoop

2.2. `hdfs dfs -chown`

Canvia el propietari d'un fitxer o directori en HDFS.

Sintaxi:

hdfs dfs -chown [propietari] [ruta]

Exemple:

hdfs dfs -chown newuser /user/hadoop/hdfsfile.txt

2.3. `hdfs dfs -chmod`

Canvia els permisos d'un fitxer o directori en HDFS.

Sintaxi:

hdfs dfs -chmod [permisos] [ruta]

Exemple:

hdfs dfs -chmod 755 /user/hadoop/hdfsfile.txt

2.4. `hdfs dfs -chgrp`

Canvia el grup d'un fitxer o directori en HDFS.

Sintaxi:

hdfs dfs -chgrp [grup] [ruta]

Exemple:

hdfs dfs -chgrp newgroup /user/hadoop/hdfsfile.txt

2.5. `hdfs dfs -copyFromLocal`

Copia fitxers des del sistema de fitxers local a HDFS (similar a -put).

Sintaxi:

hdfs dfs -copyFromLocal [fitxer_local] [ruta_hdfs]

Exemple:

hdfs dfs -copyFromLocal localfile.txt /user/hadoop/

2.6. `hdfs dfs -copyToLocal`

Copia fitxers des de HDFS al sistema de fitxers local (similar a -get).

Sintaxi:

hdfs dfs -copyToLocal [fitxer_hdfs] [ruta_local]

Exemple:

hdfs dfs -copyToLocal /user/hadoop/hdfsfile.txt /local/path/

Exercicis pràctics

Exercici 1: Crear i llistar directoris

Crea un directori anomenat test_directory a HDFS.
Llista el contingut del directori /user/hadoop.

Solució:

hdfs dfs -mkdir /user/hadoop/test_directory
hdfs dfs -ls /user/hadoop

Exercici 2: Copiar fitxers entre el sistema local i HDFS

Copia un fitxer anomenat example.txt des del sistema local a HDFS.
Copia el fitxer example.txt des de HDFS al sistema local amb el nom example_copy.txt.

Solució:

hdfs dfs -put example.txt /user/hadoop/
hdfs dfs -get /user/hadoop/example.txt example_copy.txt

Exercici 3: Gestionar permisos i propietats

Canvia el propietari del fitxer example.txt a newuser.
Canvia els permisos del fitxer example.txt a 644.

Solució:

hdfs dfs -chown newuser /user/hadoop/example.txt
hdfs dfs -chmod 644 /user/hadoop/example.txt

Resum

En aquest tema, hem après les comandes bàsiques i avançades de HDFS per gestionar fitxers i directoris dins del clúster de Hadoop. Aquestes comandes són fonamentals per treballar amb dades en un entorn distribuït. Hem practicat com crear, llistar, copiar, eliminar i modificar permisos de fitxers i directoris en HDFS. Amb aquesta base, estem preparats per aprofundir en altres aspectes de HDFS i Hadoop.

Comandes de HDFS

Objectius d'aprenentatge

Comandes bàsiques de HDFS

1.1. `hdfs dfs -ls`

1.2. `hdfs dfs -mkdir`

1.3. `hdfs dfs -put`

1.4. `hdfs dfs -get`

1.5. `hdfs dfs -rm`

1.6. `hdfs dfs -rmdir`

Comandes avançades de HDFS

2.1. `hdfs dfs -du`

2.2. `hdfs dfs -chown`

2.3. `hdfs dfs -chmod`

2.4. `hdfs dfs -chgrp`

2.5. `hdfs dfs -copyFromLocal`

2.6. `hdfs dfs -copyToLocal`

Exercicis pràctics

Exercici 1: Crear i llistar directoris

Exercici 2: Copiar fitxers entre el sistema local i HDFS

Exercici 3: Gestionar permisos i propietats

Resum

Curs de Hadoop

Mòdul 1: Introducció a Hadoop

Mòdul 2: Arquitectura de Hadoop

Mòdul 3: HDFS (Sistema de fitxers distribuït de Hadoop)

Mòdul 4: Programació MapReduce

Mòdul 5: Eines de l'ecosistema Hadoop

Mòdul 6: Conceptes avançats de Hadoop

Mòdul 7: Aplicacions reals i estudis de cas

Mòdul 8: Projectes pràctics

Comandes de HDFS

Objectius d'aprenentatge

Comandes bàsiques de HDFS

1.1. hdfs dfs -ls

1.2. hdfs dfs -mkdir

1.3. hdfs dfs -put

1.4. hdfs dfs -get

1.5. hdfs dfs -rm

1.6. hdfs dfs -rmdir

Comandes avançades de HDFS

2.1. hdfs dfs -du

2.2. hdfs dfs -chown

2.3. hdfs dfs -chmod

2.4. hdfs dfs -chgrp

2.5. hdfs dfs -copyFromLocal

2.6. hdfs dfs -copyToLocal

Exercicis pràctics

Exercici 1: Crear i llistar directoris

Exercici 2: Copiar fitxers entre el sistema local i HDFS

Exercici 3: Gestionar permisos i propietats

Resum

Curs de Hadoop

Mòdul 1: Introducció a Hadoop

Mòdul 2: Arquitectura de Hadoop

Mòdul 3: HDFS (Sistema de fitxers distribuït de Hadoop)

Mòdul 4: Programació MapReduce

Mòdul 5: Eines de l'ecosistema Hadoop

Mòdul 6: Conceptes avançats de Hadoop

Mòdul 7: Aplicacions reals i estudis de cas

Mòdul 8: Projectes pràctics

1.1. `hdfs dfs -ls`

1.2. `hdfs dfs -mkdir`

1.3. `hdfs dfs -put`

1.4. `hdfs dfs -get`

1.5. `hdfs dfs -rm`

1.6. `hdfs dfs -rmdir`

2.1. `hdfs dfs -du`

2.2. `hdfs dfs -chown`

2.3. `hdfs dfs -chmod`

2.4. `hdfs dfs -chgrp`

2.5. `hdfs dfs -copyFromLocal`

2.6. `hdfs dfs -copyToLocal`