El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

Apache Hive

Següent ►
►

Introducció a Apache Hive

Apache Hive és una eina de l'ecosistema Hadoop que permet la gestió i l'anàlisi de grans volums de dades emmagatzemades en HDFS (Hadoop Distributed File System) utilitzant un llenguatge similar a SQL anomenat HiveQL. Hive facilita la consulta i la gestió de dades estructurades i semi-estructurades, fent que l'anàlisi de dades sigui més accessible per a usuaris que estan familiaritzats amb SQL.

Característiques clau d'Apache Hive

  • Interfície SQL-like (HiveQL): Permet als usuaris escriure consultes en un llenguatge similar a SQL.
  • Escalabilitat: Pot gestionar grans volums de dades distribuïdes en clústers Hadoop.
  • Integració amb Hadoop: Utilitza HDFS per emmagatzemar dades i MapReduce per processar-les.
  • Extensibilitat: Suporta funcions definides per l'usuari (UDFs) per a operacions personalitzades.

Components d'Apache Hive

Metastore

El Metastore és un component crític de Hive que emmagatzema metadades sobre les taules, columnes, tipus de dades, particions, etc. Aquestes metadades són essencials per a l'execució de consultes i l'optimització.

Driver

El Driver gestiona la sessió de l'usuari i l'execució de les consultes. Traduïx les consultes HiveQL en plans d'execució que poden ser processats per Hadoop.

Compiler

El Compiler converteix les consultes HiveQL en plans d'execució dirigits per DAG (Directed Acyclic Graph) que poden ser executats per Hadoop.

Execution Engine

L'Execution Engine és responsable d'executar els plans d'execució generats pel Compiler utilitzant MapReduce o altres motors de processament com Tez o Spark.

CLI (Command Line Interface)

La CLI permet als usuaris interactuar amb Hive mitjançant una interfície de línia de comandes.

Creació de Taules en Hive

Tipus de Taules

  • Taules gestionades: Hive gestiona tant les dades com les metadades. Quan es suprimeix una taula gestionada, també s'eliminen les dades associades.
  • Taules externes: Hive només gestiona les metadades. Les dades es mantenen fora de Hive i no s'eliminen quan es suprimeix la taula.

Exemple de Creació de Taula

-- Creació d'una taula gestionada
CREATE TABLE employees (
    id INT,
    name STRING,
    age INT,
    department STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

-- Creació d'una taula externa
CREATE EXTERNAL TABLE external_employees (
    id INT,
    name STRING,
    age INT,
    department STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/user/hive/external/employees';

Consultes en Hive

Consultes Bàsiques

-- Seleccionar totes les columnes d'una taula
SELECT * FROM employees;

-- Seleccionar columnes específiques
SELECT name, department FROM employees;

-- Filtrar dades amb una condició
SELECT * FROM employees WHERE age > 30;

-- Agrupar dades i calcular agregats
SELECT department, COUNT(*) AS num_employees
FROM employees
GROUP BY department;

Consultes Avançades

-- Unió de taules
SELECT a.id, a.name, b.salary
FROM employees a
JOIN salaries b ON (a.id = b.id);

-- Subconsultes
SELECT name
FROM employees
WHERE id IN (SELECT id FROM salaries WHERE salary > 50000);

Particions i Bucketing

Particions

Les particions permeten dividir les taules en subdirectoris basats en el valor d'una o més columnes. Això millora el rendiment de les consultes filtrades per aquestes columnes.

-- Creació d'una taula particionada
CREATE TABLE partitioned_employees (
    id INT,
    name STRING,
    age INT
)
PARTITIONED BY (department STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

-- Inserció de dades en una taula particionada
INSERT INTO TABLE partitioned_employees
PARTITION (department='HR')
VALUES (1, 'John Doe', 30);

Bucketing

El bucketing divideix les dades en fitxers més petits (buckets) basats en el valor d'una columna hash. Això és útil per a operacions de join i agregació.

-- Creació d'una taula amb bucketing
CREATE TABLE bucketed_employees (
    id INT,
    name STRING,
    age INT,
    department STRING
)
CLUSTERED BY (id) INTO 4 BUCKETS
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

Exercicis Pràctics

Exercici 1: Creació i Consulta de Taules

  1. Crea una taula gestionada anomenada students amb les següents columnes: id (INT), name (STRING), age (INT), major (STRING).
  2. Insereix algunes dades a la taula students.
  3. Escriu una consulta per seleccionar tots els estudiants que tenen més de 20 anys.

Solució

-- Creació de la taula
CREATE TABLE students (
    id INT,
    name STRING,
    age INT,
    major STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

-- Inserció de dades
INSERT INTO TABLE students VALUES (1, 'Alice', 22, 'Computer Science');
INSERT INTO TABLE students VALUES (2, 'Bob', 19, 'Mathematics');
INSERT INTO TABLE students VALUES (3, 'Charlie', 23, 'Physics');

-- Consulta
SELECT * FROM students WHERE age > 20;

Exercici 2: Particions i Bucketing

  1. Crea una taula particionada anomenada sales amb les següents columnes: id (INT), amount (DOUBLE), date (STRING). La partició ha de ser per la columna date.
  2. Crea una taula amb bucketing anomenada transactions amb les següents columnes: id (INT), amount (DOUBLE). El bucketing ha de ser per la columna id en 4 buckets.

Solució

-- Creació de la taula particionada
CREATE TABLE sales (
    id INT,
    amount DOUBLE
)
PARTITIONED BY (date STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

-- Creació de la taula amb bucketing
CREATE TABLE transactions (
    id INT,
    amount DOUBLE
)
CLUSTERED BY (id) INTO 4 BUCKETS
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

Conclusió

Apache Hive és una eina poderosa per a la gestió i l'anàlisi de grans volums de dades en l'ecosistema Hadoop. Amb la seva interfície SQL-like, facilita l'accés a les dades per a usuaris que estan familiaritzats amb SQL. En aquest tema, hem explorat les característiques clau de Hive, els seus components, la creació de taules, les consultes bàsiques i avançades, així com les tècniques de partició i bucketing. Els exercicis pràctics proporcionats ajuden a reforçar els conceptes apresos i a preparar-se per a l'ús efectiu d'Apache Hive en entorns reals.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats