El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència

HOME

Introducció a Hadoop

Hadoop és un marc de programari de codi obert que permet el processament distribuït de grans conjunts de dades a través de clústers de computadors utilitzant models de programació senzills. Va ser desenvolupat per la Fundació Apache i és àmpliament utilitzat per la seva capacitat de gestionar dades massives de manera eficient.

Components Principals de Hadoop

Hadoop està compost per diversos components clau que treballen junts per proporcionar una solució completa per al processament de dades massives:

Hadoop Distributed File System (HDFS): Sistema de fitxers distribuït que emmagatzema dades a través de múltiples màquines.
MapReduce: Model de programació per al processament de dades en paral·lel.
YARN (Yet Another Resource Negotiator): Gestor de recursos que coordina les aplicacions que s'executen en un clúster.
Hadoop Common: Conjunt d'utilitats i biblioteques que donen suport als altres components de Hadoop.

HDFS (Hadoop Distributed File System)

HDFS és el sistema de fitxers distribuït de Hadoop, dissenyat per emmagatzemar grans volums de dades de manera fiable i accessible. Les seves característiques principals inclouen:

Emmagatzematge distribuït: Les dades es divideixen en blocs i es distribueixen a través de múltiples nodes.
Tolerància a fallades: Cada bloc de dades es replica en diversos nodes per garantir la disponibilitat en cas de fallada d'un node.
Alta capacitat: Pot gestionar petabytes de dades.

Exemple de Configuració HDFS

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value> <!-- 128 MB -->
    </property>
</configuration>

MapReduce

MapReduce és el model de programació de Hadoop per al processament de dades en paral·lel. Consta de dues fases principals:

Map: Processa les dades d'entrada i les converteix en parelles clau-valor.
Reduce: Agrega les parelles clau-valor generades per la fase Map.

Exemple de Codi MapReduce

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {

    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

YARN (Yet Another Resource Negotiator)

YARN és el gestor de recursos de Hadoop que permet la gestió eficient dels recursos del clúster. Les seves funcions principals inclouen:

Planificació de recursos: Assigna recursos a les aplicacions en funció de les necessitats.
Gestió de treballs: Coordina l'execució de treballs en el clúster.
Monitoratge: Supervisa l'ús dels recursos i l'estat dels treballs.

Hadoop Common

Hadoop Common proporciona les biblioteques i utilitats necessàries per als altres components de Hadoop. Inclou:

APIs: Per a la interacció amb HDFS, MapReduce i YARN.
Utilitats: Eines per a la configuració i gestió del clúster.

Exercicis Pràctics

Exercici 1: Configuració de HDFS

Configura un fitxer hdfs-site.xml per a un clúster Hadoop amb les següents especificacions:
- Replicació de blocs: 3
- Mida de bloc: 256 MB

Solució

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value> <!-- 256 MB -->
    </property>
</configuration>

Exercici 2: Implementació de MapReduce

Escriu un programa MapReduce per comptar el nombre de paraules en un fitxer de text.

Solució

El codi proporcionat anteriorment per al comptador de paraules (WordCount) és una solució completa per a aquest exercici.

Errors Comuns i Consells

Error Comú: No configurar correctament la replicació de blocs en HDFS.
- Consell: Assegura't que el fitxer hdfs-site.xml té la configuració correcta per a la replicació de blocs.
Error Comú: No gestionar correctament les excepcions en el codi MapReduce.
- Consell: Utilitza blocs try-catch per gestionar les excepcions i assegurar-te que el codi és robust.

Resum

En aquesta secció, hem explorat Hadoop, una eina poderosa per al processament de dades massives. Hem cobert els components principals de Hadoop, incloent HDFS, MapReduce, YARN i Hadoop Common. També hem proporcionat exemples pràctics i exercicis per ajudar-te a comprendre millor com utilitzar Hadoop en el teu treball diari. Amb aquesta base, estaràs preparat per aprofundir en altres eines i plataformes per al processament de dades massives.

Hadoop

Introducció a Hadoop

Components Principals de Hadoop

HDFS (Hadoop Distributed File System)

Exemple de Configuració HDFS

MapReduce

Exemple de Codi MapReduce

YARN (Yet Another Resource Negotiator)

Hadoop Common

Exercicis Pràctics

Exercici 1: Configuració de HDFS

Solució

Exercici 2: Implementació de MapReduce

Solució

Errors Comuns i Consells

Resum

Processament de Dades Massives

Mòdul 1: Introducció al Processament de Dades Massives

Mòdul 2: Tecnologies d'Emmagatzematge

Mòdul 3: Tècniques de Processament

Mòdul 4: Eines i Plataformes

Mòdul 5: Optimització de l'Emmagatzematge i Processament

Mòdul 6: Anàlisi de Dades Massives

Mòdul 7: Casos d'Estudi i Aplicacions Pràctiques

Mòdul 8: Bones Pràctiques i Futur del Processament de Dades Massives