El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

Configuració de l'entorn Hadoop

Següent ►
►

En aquesta secció, aprendrem com configurar l'entorn Hadoop al vostre ordinador. Aquest procés inclou la instal·lació de Java, la descàrrega i la configuració de Hadoop, i la verificació que tot funcioni correctament.

Requisits previs

Abans de començar, assegureu-vos de tenir els següents requisits previs:

  1. Sistema operatiu: Linux o macOS (també es pot utilitzar Windows amb Cygwin o una màquina virtual).
  2. Java: Hadoop requereix Java per funcionar. Assegureu-vos de tenir instal·lada la versió adequada de Java (JDK 8 o superior).

Passos per configurar Hadoop

  1. Instal·lació de Java

Verificar si Java està instal·lat

Obriu una terminal i executeu la següent comanda per verificar si Java està instal·lat:

java -version

Si Java està instal·lat, veureu la versió de Java. Si no està instal·lat, seguiu els passos següents per instal·lar-lo.

Instal·lació de Java a Linux

Per instal·lar Java a Linux, executeu les següents comandes:

sudo apt update
sudo apt install openjdk-8-jdk

Instal·lació de Java a macOS

Per instal·lar Java a macOS, podeu utilitzar Homebrew:

brew update
brew install openjdk@8

  1. Descàrrega de Hadoop

Visiteu la pàgina oficial de descàrrega de Hadoop: Apache Hadoop Releases

Seleccioneu la versió més recent i descarregueu l'arxiu tar.gz. Per exemple, per a la versió 3.3.1:

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

  1. Extracció de l'arxiu Hadoop

Un cop descarregat l'arxiu, extraiu-lo:

tar -xzvf hadoop-3.3.1.tar.gz

  1. Configuració de les variables d'entorn

Afegiu les següents línies al vostre fitxer .bashrc o .zshrc per configurar les variables d'entorn necessàries:

export HADOOP_HOME=~/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Després, carregueu les noves configuracions:

source ~/.bashrc

  1. Configuració de Hadoop

Editar hadoop-env.sh

Editeu el fitxer hadoop-env.sh per configurar la variable JAVA_HOME:

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

Afegiu la següent línia:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Configuració de core-site.xml

Editeu el fitxer core-site.xml per configurar el directori de Hadoop:

nano $HADOOP_HOME/etc/hadoop/core-site.xml

Afegiu el següent contingut:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

Configuració de hdfs-site.xml

Editeu el fitxer hdfs-site.xml per configurar la replicació de dades:

nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Afegiu el següent contingut:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

  1. Formatejar el sistema de fitxers HDFS

Formateu el sistema de fitxers HDFS executant la següent comanda:

hdfs namenode -format

  1. Iniciar Hadoop

Per iniciar Hadoop, executeu les següents comandes:

start-dfs.sh
start-yarn.sh

  1. Verificar la instal·lació

Per verificar que Hadoop està funcionant correctament, obriu el navegador i visiteu les següents URL:

Conclusió

En aquesta secció, hem après com configurar l'entorn Hadoop al nostre ordinador. Hem cobert la instal·lació de Java, la descàrrega i configuració de Hadoop, i la verificació que tot funcioni correctament. Ara estem preparats per començar a treballar amb Hadoop i explorar les seves capacitats.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats