El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

Hadoop en emmagatzematge de dades

Següent ►
►

Introducció

L'emmagatzematge de dades és una pràctica essencial en la gestió de grans volums d'informació. Amb l'augment exponencial de les dades, les solucions tradicionals d'emmagatzematge sovint no són suficients per manejar la quantitat i la varietat de dades generades. Hadoop ofereix una solució robusta i escalable per a l'emmagatzematge de dades, permetent a les organitzacions emmagatzemar, processar i analitzar grans volums de dades de manera eficient.

Conceptes clau

  1. Què és un magatzem de dades?

Un magatzem de dades és un sistema utilitzat per a la recopilació, emmagatzematge i gestió de dades de diverses fonts per a l'anàlisi i la generació d'informes. Els magatzems de dades estan dissenyats per facilitar la presa de decisions empresarials mitjançant l'anàlisi de dades històriques.

  1. Beneficis de Hadoop en l'emmagatzematge de dades

  • Escalabilitat: Hadoop pot gestionar petabytes de dades distribuint-les en múltiples nodes.
  • Cost-efectivitat: Utilitza maquinari de baix cost per emmagatzemar i processar dades.
  • Flexibilitat: Pot emmagatzemar dades estructurades, semi-estructurades i no estructurades.
  • Alta disponibilitat: Gràcies a la replicació de dades i la tolerància a fallades.

Components de Hadoop en l'emmagatzematge de dades

  1. HDFS (Sistema de fitxers distribuït de Hadoop)

HDFS és el sistema de fitxers distribuït que permet emmagatzemar grans volums de dades en un clúster de nodes. Proporciona alta disponibilitat i tolerància a fallades mitjançant la replicació de dades.

  1. MapReduce

MapReduce és el model de programació utilitzat per processar grans volums de dades emmagatzemades en HDFS. Divideix les tasques en map (mapatge) i reduce (reducció), permetent el processament paral·lel de dades.

  1. Apache Hive

Apache Hive és una eina de data warehousing que proporciona una interfície SQL per a Hadoop. Permet als usuaris executar consultes SQL sobre dades emmagatzemades en HDFS, facilitant l'anàlisi de dades.

  1. Apache HBase

Apache HBase és una base de dades NoSQL que s'executa sobre HDFS. És ideal per a aplicacions que requereixen accés ràpid a grans volums de dades.

Exemple pràctic: Utilitzar Hive per a l'emmagatzematge de dades

Pas 1: Configuració de Hive

# Iniciar el servei de Hive
$ hive --service metastore &
$ hive --service hiveserver2 &

Pas 2: Crear una taula en Hive

CREATE TABLE sales_data (
    sale_id INT,
    product_name STRING,
    sale_amount FLOAT,
    sale_date STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

Pas 3: Carregar dades a la taula

LOAD DATA LOCAL INPATH '/path/to/sales_data.csv' INTO TABLE sales_data;

Pas 4: Executar una consulta SQL

SELECT product_name, SUM(sale_amount) AS total_sales
FROM sales_data
GROUP BY product_name;

Exercici pràctic

Exercici 1: Crear i consultar una taula en Hive

  1. Crear una taula: Crea una taula anomenada employee_data amb les següents columnes: employee_id (INT), employee_name (STRING), department (STRING), salary (FLOAT).
  2. Carregar dades: Carrega un fitxer CSV amb dades d'empleats a la taula employee_data.
  3. Executar una consulta: Escriu una consulta SQL per obtenir el salari mitjà per departament.

Solució

-- Crear la taula
CREATE TABLE employee_data (
    employee_id INT,
    employee_name STRING,
    department STRING,
    salary FLOAT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

-- Carregar dades
LOAD DATA LOCAL INPATH '/path/to/employee_data.csv' INTO TABLE employee_data;

-- Executar la consulta
SELECT department, AVG(salary) AS average_salary
FROM employee_data
GROUP BY department;

Conclusió

Hadoop proporciona una solució potent i escalable per a l'emmagatzematge de dades, permetent a les organitzacions gestionar grans volums de dades de manera eficient. Amb eines com HDFS, MapReduce, Hive i HBase, Hadoop facilita l'emmagatzematge, el processament i l'anàlisi de dades, oferint una plataforma robusta per a la presa de decisions basada en dades.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats