El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
HOME Els meus cursos Finalitzats
◄ Anterior
◄

Spark SQL

Següent ►
►

Introducció a Spark SQL

Spark SQL és un mòdul d'Apache Spark que permet treballar amb dades estructurades utilitzant el llenguatge SQL. Proporciona una interfície per executar consultes SQL sobre dades de Spark, així com per integrar-se amb altres components de Spark com DataFrames i Datasets.

Objectius del Tema

  • Comprendre què és Spark SQL i les seves funcionalitats.
  • Aprendre a crear i gestionar DataFrames utilitzant Spark SQL.
  • Executar consultes SQL sobre dades de Spark.
  • Integrar Spark SQL amb altres components de Spark.

Conceptes Clau

  1. Què és Spark SQL?

Spark SQL és un mòdul que permet:

  • Executar consultes SQL sobre dades de Spark.
  • Integrar-se amb altres components de Spark com DataFrames i Datasets.
  • Connectar-se a diverses fonts de dades com HDFS, Hive, JDBC, etc.

  1. DataFrames i Spark SQL

Un DataFrame és una col·lecció distribuïda de dades organitzada en columnes amb noms. És similar a una taula en una base de dades relacional o a un dataframe en R/Python.

  1. Consultes SQL

Spark SQL permet executar consultes SQL sobre DataFrames i altres fonts de dades. Les consultes SQL es poden escriure en el mateix codi Spark utilitzant la interfície sql.

Exemples Pràctics

Creació d'un SparkSession

Abans de començar a treballar amb Spark SQL, necessitem crear una instància de SparkSession, que és el punt d'entrada per a la funcionalitat de Spark SQL.

from pyspark.sql import SparkSession

# Crear una SparkSession
spark = SparkSession.builder \
    .appName("Spark SQL Example") \
    .getOrCreate()

Creació de DataFrames

Podem crear DataFrames a partir de diverses fonts de dades, com ara fitxers CSV, JSON, Parquet, etc.

# Carregar un fitxer CSV com a DataFrame
df = spark.read.csv("path/to/csvfile.csv", header=True, inferSchema=True)

# Mostrar les primeres files del DataFrame
df.show()

Executar Consultes SQL

Podem registrar un DataFrame com una taula temporal i executar consultes SQL sobre ell.

# Registrar el DataFrame com una taula temporal
df.createOrReplaceTempView("my_table")

# Executar una consulta SQL
result = spark.sql("SELECT * FROM my_table WHERE age > 30")

# Mostrar el resultat de la consulta
result.show()

Integració amb Altres Components de Spark

Podem utilitzar Spark SQL conjuntament amb altres components de Spark com DataFrames i Datasets per realitzar operacions més complexes.

# Crear un DataFrame a partir d'una llista de tuples
data = [("Alice", 34), ("Bob", 45), ("Cathy", 29)]
columns = ["Name", "Age"]
df = spark.createDataFrame(data, columns)

# Registrar el DataFrame com una taula temporal
df.createOrReplaceTempView("people")

# Executar una consulta SQL
result = spark.sql("SELECT Name, Age FROM people WHERE Age > 30")

# Mostrar el resultat de la consulta
result.show()

Exercicis Pràctics

Exercici 1: Carregar i Consultar Dades

  1. Carrega un fitxer CSV com a DataFrame.
  2. Registra el DataFrame com una taula temporal.
  3. Executa una consulta SQL per seleccionar totes les files on una columna específica compleixi una condició.

Solució

# Carregar un fitxer CSV com a DataFrame
df = spark.read.csv("path/to/csvfile.csv", header=True, inferSchema=True)

# Registrar el DataFrame com una taula temporal
df.createOrReplaceTempView("my_table")

# Executar una consulta SQL
result = spark.sql("SELECT * FROM my_table WHERE column_name > value")

# Mostrar el resultat de la consulta
result.show()

Exercici 2: Agregacions i Agrupacions

  1. Carrega un fitxer JSON com a DataFrame.
  2. Registra el DataFrame com una taula temporal.
  3. Executa una consulta SQL per agrupar les dades per una columna i calcular una agregació (com la mitjana o la suma) sobre una altra columna.

Solució

# Carregar un fitxer JSON com a DataFrame
df = spark.read.json("path/to/jsonfile.json")

# Registrar el DataFrame com una taula temporal
df.createOrReplaceTempView("my_table")

# Executar una consulta SQL per agrupar i agregar
result = spark.sql("SELECT column1, AVG(column2) as avg_value FROM my_table GROUP BY column1")

# Mostrar el resultat de la consulta
result.show()

Errors Comuns i Consells

Error: AnalysisException: Table or view not found

Aquest error es produeix quan intentes executar una consulta SQL sobre una taula que no existeix. Assegura't d'haver registrat correctament el DataFrame com una taula temporal.

Consell: Utilitza explain()

Per entendre millor com Spark executa les teves consultes SQL, pots utilitzar el mètode explain() per veure el pla d'execució.

# Veure el pla d'execució de la consulta
result.explain()

Resum

En aquest tema, hem après què és Spark SQL i com utilitzar-lo per treballar amb dades estructurades. Hem vist com crear i gestionar DataFrames, executar consultes SQL i integrar Spark SQL amb altres components de Spark. També hem practicat amb exercicis pràctics per reforçar els conceptes apresos. En el següent mòdul, explorarem com carregar i desar dades utilitzant Spark.

◄ Anterior
◄
Següent ►
►
El Projecte | Sobre nosaltres | Contribuir | Donacions | Llicència
© Copyright 2024. Tots els drets reservats